跳到正文
arXiv · NLP· Han Peng, Xing Hu, Feifei Niu, Huan Li, Xin Xia·· 2026-10-12AI 评分39

SWE-bench 补丁性能实证研究:四种前沿模型解题率与运行效率排名反转

Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution

AI 导读

基于 SWE-bench 的 F2P 测试,Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 和 Qwen 3.8 Max 生成的补丁在 262 个案例中显示出显著运行性能差异。 研究采用 Welch ANOVA 统计方法,发现大语言模型的解题率与补丁运行性能独立,且模型性能排名近乎反转。 该结果揭示了纯正确性评估遗漏的架构回归,建议未来评估体系纳入补丁性能指标。

来源:arXiv · NLP · arxiv.org