评估前沿模型故障定位准确性

Christoph Daxerer 等研究者在 arXiv 发布研究，探讨编码智能体是否仍需调试器辅助进行故障定位。该研究基于 Sol 6.1、Luna 6 和 Qwen 3.8 等前沿模型，在 144 个 LeetCode 解题中植入了 610 处单行故障。 研究团队对这 610 处故障程序进行了重写，应用了五种行为保持变换，以测试不同难度下的定位能力。测试设置了无调试器、可选调试器以及鼓励使用调试器三种场景，旨在评估辅助工具对故障定位精度的影响。 通过对比不同模型在三种调试器辅助条件下的表现，该研究试图确定前沿编码智能体在缺乏或具备调试器支持时的故障定位精度上限，为评估模型自主调试能力提供实证数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。