跳到正文
arXiv · AI· Xinping Lei, Minghao Liu, Ruijie Zhu, Xiaohui Hu, Xingqiao Li, Ao Zhang, Wenhao Chai, Han Li, Tao Wang, Jingyuan Zhang, Enduo Zhao, Yunfeng Shi, Yiming Liang, Zetao Yang, Xingjian Wang, Yifan Yao, Xinkai Ma, Yingru Li, Tianhan Yang, Huan Zhou, Weiran Shi, Shen Yan, Jiaheng Liu, Stephen Huang, Eli Cheung, Weihao Xuan·· 3 天前AI 评分42

SWE-CoWork 基准测试:评估编码智能体在组织中的数字员工能力

SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations

AI 导读

新基准 SWE-CoWork 包含 101 个真实仓库开发任务,测试编码智能体在模拟工程组织中的协作与交付能力。 评测 11 个模型发现,头部模型仅完成不足 8% 任务,满足约 63% 的 fail-to-pass 测试。 研究发现持续的需求追踪是自主软件工程面临的关键挑战,即便提供完整需求,任务成功率仍无变化。

来源:arXiv · AI · arxiv.org