arXiv · AI· Taolin Han, Yuchen Zhang, Jinghang Wang, Yun Wu, Wai Yuet Chiu, Zhaohai Li, Yifei Zhang, Jinxin Wang, Yuhao Zhou, Chen Zhao, Jiajia Li, Jiaxin Li, Qile Jin, Kewei Sun, Shuang Wu, Weiqi Zhai, Renquan Lv, Junchao Li, Ruodan Chen, Qingteng Chen, Zhibo Yang, Hu Wei, Lin Qu, Shuai Bai, Bing Zhao·· 10 天前AI 评分30
Science Edge Evaluation:多模态基准测试显示 LLM 无法可靠完成科学推理
Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery
AI 导读
研究人员推出名为 Science Edge Evaluation (SEE) 的多模态基准测试,评估 28 个模型后发现最佳准确率仅为 54.9%。测试显示通用模型平均表现优于科学专用模型,且工具使用虽将最高准确率提升至 56.1%,但无法确保模型在实验证据边界内进行可靠推理。
来源:arXiv · AI · arxiv.org