跳到正文
arXiv · AI· Yuchen Zhang, Taolin Han, Jinghang Wang, Jinxin Wang, Yun Wu, Wai Yuet Chiu, Xiaogang Li, Yuting Fu, Kewei Sun, Jiaxin Li, Qile Jin, Jiajia Li, Ruodan Chen, Qingteng Chen, Jialu Nie, Junchao Li, Yifei Zhang, Chen Zhao, Hu Wei, Lin Qu, Yanni Yin, Bing Zhao·· 2 天前AI 评分42

SciWorkBench:面向真实科研工作流的基准测试

SciWorkBench: A Benchmark for Real Scientific Workflows

AI 导读

研究团队提出 SciWorkBench 基准,用于评估智能体在生物学、化学等真实科研任务中的能力。 测试涵盖四大领域,由专家验证统一分析框架,并在 Claude Code 和 Codex 框架下评估最新模型。 性能最佳的智能体仅获得 57.38 的平均分,表明当前智能体在将科学知识转化为具体步骤及多模态证据整合方面仍存在显著短板。

来源:arXiv · AI · arxiv.org