arXiv · NLP· Han Peng, Xing Hu, Feifei Niu, Huan Li, Xin Xia·· 2026-10-12AI 评分39
SWE-bench 补丁性能实证研究:四种前沿模型解题率与运行效率排名反转
Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution
AI 导读
基于 SWE-bench 的 F2P 测试,Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 和 Qwen 3.8 Max 生成的补丁在 262 个案例中显示出显著运行性能差异。 研究采用 Welch ANOVA 统计方法,发现大语言模型的解题率与补丁运行性能独立,且模型性能排名近乎反转。 该结果揭示了纯正确性评估遗漏的架构回归,建议未来评估体系纳入补丁性能指标。
来源:arXiv · NLP · arxiv.org