跳到正文
arXiv · AI· Rujun Han, Yufan Zhuang, Arijit Ray, Han Yu, Zoey CuiZhu, George Lee, Yifei Ming, Binz Roy, Varun Sakalkar, Vishy Tirumalashetty, Burak Gokturk, Tomas Pfister, Chen-Yu Lee·· 4 小时前AI 评分37

PLE:面向专业物理工程的长时程智能体评测基准

PLE: Physical-Engineering's Last Exam

AI 导读

研究团队发布 PLE 基准,包含 85 项电气、土木等专业的长时程智能体任务,旨在测试真实工程交付能力。 现有工程基准多饱和且局限于文本问答,PLE 结合专家自创与对抗式共创两条路径构建。 最强模型平均得分仅 50.6%,每任务耗 27M tokens 和 63 分钟,凸显当前智能体在自动工程设计上的巨大差距。

来源:arXiv · AI · arxiv.org