arXiv · NLP· Tianyun Zhong, Wei Wang, Jialin Li, Jianhong Tu, Liyao Li, Chuqiao Kuang, Tianshi Zheng, Songchi Zhou, Weiqi Zhai, Qile Jin, Jiajia Li, Jiasheng Zheng, Boxi Cao, Yaojie Lu, Hongyu Lin, Shiwei Ye, Bing Zhao, Hu Wei, Lin Qu, Xianpei Han·· 5 小时前AI 评分23
SCI-AGENT-EXAM：针对科学研究任务智能体的基准测试
SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks
AI 导读
SCI-AGENT-EXAM 发布，这是一个包含 11 个科学领域、7 类研究任务及 120 个专家策展任务的流程导向基准。 该基准采用混合评估协议，结合确定性程序验证与 LLM 评审，并分析执行轨迹中的进度与稳定性。 对 10 个前沿 LLM 智能体的实验显示 GPT-6 Astra 以 80.9 分获最高总分，但仅 26.0% 的运行超过 0.95 成功率阈值。
来源：arXiv · NLP · arxiv.org