跳到正文
arXiv · AI· Ryan Magnuson, Ellie Kitanidis, Ariel Lee·· 11 天前AI 评分28

比较调试器与 Bash 接口:引入 Pass$_X$@$k$ 评估 Coding Agent 多样性

Pdb or Not to Be: Comparing Debugging Interfaces With Pass$_{X}$@$k$

AI 导读

研究在 SWE-bench Verified 的 500 个实例上,对比了 GPT-OSS-120B 和 Nemotron-3-Ultra-550B 两种模型的 bash-only 与 debugger-only agent,发现两次 bash 运行优于一次 bash 加一次调试器的组合。

来源:arXiv · AI · arxiv.org