arXiv · NLP· Changjiang Jiang, Jiang Zhou, Xinbin Yuan, Fan Zhang, Tao Feng, Zhuohan Xie·· 2 天前AI 评分23
MInfoVisQA: 信息丰富视觉问答的多语言基准测试
MInfoVisQA: A Multilingual Benchmark for Information-Rich Visual Question Answering
AI 导读
研究者推出 MInfoVisQA 基准,包含 24 种语言、8,960 个问答配置及 25 个多模态大语言模型评估数据。 该基准通过分离数值结构与文本生成并行视觉问答对,发现模型在跨语言场景下表现存在显著差异。 研究结果指出,平均准确率掩盖了鲁棒性差距,凸显跨语言敏感度指标在模型评估中的必要性。
来源:arXiv · NLP · arxiv.org