arXiv · ML· Hanyao Guo, Mo Cui, Zihan Tan, Leixin Sun, Yichun Wang, Yinan Shen, Guojun Zhu, Jia Jiang, Erhao Chen, Zui Chen, Wenzhe Gao, Zhihao Yu, Qijun Wang, Yetian Zhu, Jiande Chen, Chuhang Pei, Yao Jiang, Yichen Fan, Pinhan Wang, Xiaorui Pan, Qianyi Zhu, Yang Liu, Mang Ye, Guancheng Wan·· 2026-10-15AI 评分30
ChemArgus:面向实验室级多模态化学推理的前沿自动化科学诊断基准
ChemArgus: Automated Scientific Diagnostics for Lab-Grade Multimodal Chemistry Reasoning: A Frontier Benchmark
AI 导读
提出 ChemArgus 基准,通过细粒度评分、多模态任务及诊断归因特性评估化学推理能力。 GPT-5.6-Sol 无辅助解题得 23.2%,在两个顺序指标下得 28.8% 和 30.4%,差距衡量整合负担。 该基准旨在引导语言模型逐步走向化学专业知识,通过评分定位推理链断裂点。
来源:arXiv · ML · arxiv.org