arXiv · AI· Zehan Li, Hongjie Chen, Qing Wang, Yuxin Zhang, Jing Zhou, Hang Lv, Mengjie Du, Yaodong Song, Jie Lian, Jian Kang, Jie Li, Yongxiang Li·· 17 小时前AI 评分32
TELEVAL:针对中文交互式场景口语语言模型的大型基准
TELEVAL: A Benchmark Designed for Spoken Language Models in Chinese Interactive Scenarios
AI 导读
研究团队推出TELEVAL基准,评估口语语言模型(SLM)在中文交互中的可靠性与得体性。该基准无需额外任务提示,重点测试对听觉线索的适应能力。实验显示模型在方言和文化问题上表现不佳,且易陷入描述线索而非回应需求的“Caption Trap”陷阱。
来源:arXiv · AI · arxiv.org