arXiv · AI· Brian T. Weston, Alondra Torres Contreras, Aldair E. Gongora·· 3 天前AI 评分40
SciResearch-Eval:评估自主实验智能体科学判断的基准
SciResearch-Eval: Evaluating Scientific Judgment in Autonomous Experimental Agents
AI 导读
引入基准SciResearch-Eval,首个结合自主实验设计与故意缺陷模拟器的科学判断评估集。 在93个任务、2511次测试中,模型常因忽视模拟器缺陷而报错,但95%置信区间覆盖真值的频率远低于预期。 Claude 5.5在最大算力下性能提升超10倍,而GPT-6 Astra和Claude Fable 5.2在默认设置下表现更佳。
来源:arXiv · AI · arxiv.org