跳到正文
arXiv · AI· Pujun Zheng, Zixin Shang, Shufan Jiang, Wenhui Tian, Dongsheng Zhu, Zerun Ma, Dingbo Yuan, Qi Zhang·· 2026-10-12AI 评分45

SWE-Bench Pro Verified:面向软件工程智能体的可靠评测基准

SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents

AI 导读

SWE-Bench Pro Verified 发布,通过反作弊防护和任务修正解决了原基准中因答案泄露、测试错误导致的可靠性问题。 该方法在消除主要信息泄露渠道的同时,最小化地修正了存在缺陷的任务实例。 评测发现部分模型表现远低于此前结果,表明现有数据可能高估了真实的软件工程能力。

来源:arXiv · AI · arxiv.org