arXiv · AI· Ahmad Jarjis Hasan, Jonathan Lwowski·· 17 天前AI 评分30
多模态大模型基准测试评分规则审计:同一输出分数差异可达22分
Same Outputs, Different Scores: Auditing the Unchecked Graders of Multimodal LLM Benchmarks
AI 导读
研究复现8个基准测试的官方评分器,发现仅评分规则差异就能使同一模型输出准确率变动高达22分。 研究使用5个单张16GB GPU可运行的开源视觉语言模型,通过盲测人类与LLM评审仲裁(Cohen's kappa=0.956)恢复真实答案,指出不同解析规则导致显著分数偏差。 该研究已获WACV 2027接收,并发布代码、标签及协议,建议基准测试报告不合规率并采用至少两种评分规则。
来源:arXiv · AI · arxiv.org