arXiv · NLP· Zhaolu Kang, Yidi Wang, Yile Li, Siqi Zeng, Yingjie He, Richeng Xuan, Zhichao hu·· 3 小时前AI 评分35
TRIAD：多模态大语言模型全模态歧义评测基准
TRIAD: Benchmarking Omni-Modal Ambiguity in Multimodal Large Language Models
AI 导读
研究团队推出TRIAD基准，用于评估多模态大语言模型在全模态歧义消解上的能力。该基准包含86个场景组中的327个手写查询，覆盖三种模态下的18类歧义。对14个全模态系统的测试表明，模型在组准确率上比人类低20分以上，且常忽视音频线索。该研究将评测焦点从识别转向歧义消解，为衡量相关能力提供了分类体系与诊断协议。
来源：arXiv · NLP · arxiv.org