arXiv · AI· Soham Dan, Jeff Da, Sanyam Bhutani, Miguel Romero Calvo, Ivan Guevara, Fernando Carabedo, Jose Bernal, Julio Reyna, Luis Leandro Monsalve Mendez, Ying Liu, Daniel Yue Zhang·· 12 小时前AI 评分40
SWE-Bench Pro V2 发布:更难被刷分与抗污染的软件工程编码基准
SWE-Bench Pro V2: A Cleaner, Harder-to-Game Coding Benchmark
AI 导读
SWE-Bench Pro V2 更新了 731 项任务中的 480 项,通过加固协议防止 Agent 获取上游修复或依赖补丁外变更。 该基准包含 642 项任务,前沿 Agent 解决率最高达 99.4%;新增 51 项 Hard 子集,各系统得分分布在 52.9% 至 98.0% 之间。
来源:arXiv · AI · arxiv.org