arXiv · AI· Shivam Negi, Arpit Rawat, Rashi Jain·· 17 小时前AI 评分42
实时语音智能体评估综述:从组件质量到落地结果
Evaluating Real-Time Voice Agents: A Survey from Component Quality to Grounded Outcomes
AI 导读
该综述回顾136篇文献,发现评估体系碎片化。91项评估中仅13项检查外部状态,21项结果基准中仅5项使用真实人声。 提出TRG报告标准,要求涵盖时机、恢复及落地结果。在案例中,工具选择F1达82.5%,但精确调用成功率仅33.0%,且无任务状态证据。 TRG作为最低报告标准,不分配综合分数,旨在填补当前评估在多方互动和状态验证方面的关键空白。
来源:arXiv · AI · arxiv.org