arXiv · AI· Xiangkai Zeng, Zheng Liu, Zihao Lin·· 14 天前AI 评分37
Multi-step SWE:长时程软件编程基准测试
Multi-step SWE: Can Coding Agents Keep Building on Their Own Code Over Long Horizons?
AI 导读
研究者发布 Multi-step SWE 基准,包含 69 个由 5-15 个依赖步骤构成的软件工程任务,覆盖九种编程语言。 最强前沿模型在长时程任务中的解决率仅为 18.5%,且 69 个任务中有 38 个未被任何模型完全解决。 该基准已公开发布,用于评估编码智能体在自身生成代码上进行迭代开发的能力。
来源:arXiv · AI · arxiv.org