arXiv · NLP· Yuan Ge, Pei Zhang, Xize Cheng, Lingzhou Mu, Mingyang Wang, Jin Xu, Baosong Yang, Shengxiang Gao, Jingbo Zhu, Zhengtao Yu, Tong Xiao·· 17 小时前AI 评分35
Omnilingual-MsASR：评估多模态、多语言、长视频多说话人自动语音识别的基准测试
Omnilingual-MsASR: Benchmarking Multimodal, Multilingual, Long-Form Multi-Speaker ASR of Omni Large Language Models
AI 导读
Omnilingual-MsASR 发布，这是一个覆盖6种语言、最长30分钟、最多20位说话人的多模态多语言长视频多说话人自动语音识别基准测试。 它提供平行的音频和视频输入，用于评估模型的跨模态一致性和利用互补线索的能力。现有顶级多模态大语言模型在细粒度的时间定位、说话人区分和跨模态协同方面存在显著瓶颈，其 tcpWER 经常超过 100%。
来源：arXiv · NLP · arxiv.org