跳到正文
arXiv · AI· Guijia Zhang, Hongbo Qiu, Jiajun Zha, Guohao Cai, Hao Zheng, Huihao Jing, Kexu Cheng, Shipeng Luo, JinYang Huang, Shing-Chi Cheung, Changsheng Lu, Haoxuan Che, Harry Yang·· 13 小时前AI 评分30

多模态模型在自主科学图表证据验证中的表现评估

When Figures Disagree with Text: Evaluating Autonomous Visual Evidence Verification in Scientific Papers

AI 导读

研究在 31 篇完整手稿上测试 6 个多模态模型自主验证图表一致性,结果显示 1,445 份审查中仅 3.3% 被评分标准认可为成功诊断矛盾。 尽管 60.6% 的审查提及了错误图表,但明确指出矛盾的低得多;当直接指明图表名称时,诊断率升至 20.4%,而仅靠文本审查无法识别矛盾。 表明评估多模态文档理解需重点考察模型提出验证目标的能力,而非仅测试其回答给定问题的能力。

来源:arXiv · AI · arxiv.org