arXiv · AI· Zengji Tu, Xiang Liu, Jiarui Sun, Ruoyu Wu, Zhihui Qi, Chengda Wu, Yutao Zhou, Bo Yang, Ziyan Zhang, Jialong Wu, Liang Chen, Kuan Li, Steven Dillmann, Yuanqi Du, Soojung Yang, Shizhe Diao, Jianjun Wu, Junlang Liu, Xuming Hu, Lin Chang, Baobao Chang, Xiaowen Chu, Philip S. Yu, Tong-Yi Zhang, Hao Cheng, Qin Han, Yanye Feng, Chenru Duan, Chuncheng Liu, Yan Liu, Yuchen Gao, Zhao Li, Ronghua Zhang, Tory Xu, Renjian Song, Yaokai Fu·· 7 天前AI 评分31
Science Prediction Universe (SPU) 基准发布,评估智能体在隐藏实验结果中的预测能力
Science Prediction Universe
AI 导读
Science Prediction Universe (SPU) 基准包含 100 个公开任务和 16 个私有任务,评估智能体对实验结果排名的预测能力。 测试 13 种智能体配置和 12 个前沿模型,公开基准上任务调整后的斯皮尔曼相关系数从 0.227 到 0.478 不等。 分析显示,科学判断而非工具执行是瓶颈,智能体相互一致性(0.52)高于与实验现实的一致性(0.33)。
来源:arXiv · AI · arxiv.org