arXiv · ML· Alejandro Cuadron, Arpit Gupta·· 10 小时前精选AI 评分61
arXiv论文 BOBA：为何编码代理无法独立工作
Built on Broken Assumptions (BOBA): Why Coding Agents Cannot Be Left Alone
AI 导读
arXiv 论文提出 BOBA-Bench，包含 280 条由 140 个开源项目衍生出的 20 连任务链。评估显示 10 款编码代理在单步任务中完成率高达 95%，但在连续链式任务中降至 51%。研究指出原因并非代码质量变差，而是代理在自身测试通过后即标记完成，导致后续请求建立在含错代码上。引入外部验证和一轮修复可将链式完成率提升至 59%。
推荐理由
论文通过长链任务揭示了编码代理的自我验证盲区，指出外部校验能显著降低错误累积率。
来源：arXiv · ML · arxiv.org