跳到正文
arXiv · AI· Xiangheng He, Mingjun Zhao, Zhehao Fan, Zhengjia Li, Xiaopeng Sun, Qingqing Xiao, Haolan Chen, Yu Xu·· 10 天前AI 评分24

Joi-Bench-Task: 通过交互式模拟评测全双工语音智能体的任务协调能力

Joi-Bench-Task: Benchmarking Task Coordination in Full-duplex Voice Agents through Interactive Simulation

AI 导读

Joi-Bench-Task 是一个评估全双工语音智能体任务协调能力的基准,重点考察执行、完成、沟通及剩余汇报的跟踪。 该基准采用交互式用户模拟器,在工具执行和结果播报时引入可配置干预。 评测显示5家商业语音智能体在需求变更下最高完成率仅55%,中断后4家信息遗漏率至少23%。

来源:arXiv · AI · arxiv.org