跳到正文
arXiv · NLP· Miaosen Chai, Wang Bill Zhu, Shangshang Wang, Yejia Liu, Song Bian, Honghua Dong, Willie Neiswanger, Robin Jia·· 2026-10-06AI 评分43

Precise Debugging Benchmark 揭示 GPT-5.1-Codex 等前沿模型精准调试难题

Precise Debugging Benchmark: Is Your Model Debugging or Regenerating?

AI 导读

PDB 框架显示 GPT-5.1-Codex 和 DeepSeek-V3.2-Thinking 精准度低于 45%。 该模型单元测试通过率超 76%,即使提示最小化仍会过度编辑。 迭代和智能体策略未显著提升精准度,凸显代码模型后训练管线需重构。

来源:arXiv · NLP · arxiv.org