arXiv · AI· Zerui Yang, Quan Xue, Miaomiao Dong, Chaorui Zhang, Xuanyu Zheng, Xiyuan Wang, Haolin Ruan, Xueyan Niu, Guangcheng Song, Weixi Zhang, Wei Han, Bo Bai·· 2 天前AI 评分28
编码智能体何时停止:SWE-bench Verified 上的任意时刻评估
Done, But Still Working: Anytime Evaluation of When Coding Agents Should Stop
AI 导读
研究评估了编码智能体在测试通过后继续工作的价值。在 SWE-bench Verified 上对 8 个开源模型进行约 6000 次运行,发现自测通过后停止可节省 1% 至 57% 的成本。
来源:arXiv · AI · arxiv.org