跳到正文
arXiv · AI· Ruoyu Wu, Zengji Tu, Aolong Sun, Tianyi Ma, Junren Li, Xinbo Xu, Li Fu, Ziyan Zhang, Pinrui Huang, Xiaochen Wang, Chengda Wu, Yutao Zhou, Jianjun Wu, Lin Chang, Baobao Chang, Liang Chen, Kuan Li·· 21 天前AI 评分29

PAPERBENCHX 基准测试揭示 AI 跨学科科学复现能力差距

PAPERBENCHX: Can AI Reproduce Science Across Disciplines?

AI 导读

PAPERBENCHX 发布包含 93 个跨 12 个领域任务的基准,要求智能体在专用科学软件环境中复现论文实验。 在 10 种前沿智能体配置中,最佳配置完全复现率仅为 14%,平均评分在 27.53% 至 59.08% 之间。 结果显示 AI 从理解论文到可靠生成可复现科学证据之间存在巨大鸿沟。

来源:arXiv · AI · arxiv.org