arXiv · AI· Jialei Li, Dingxian Wang, Xiaoyan Zhao, Yimeng Bai, Xuanyi Zhu, Yang Zhang, Chao Yin, Wentao Shi, Ganesh Prabhu, Karthik Gomadam Rajagopal, Brett Levert, Darvin Yi, Andrew Rabinovich, Zhao Chen·· 4 小时前AI 评分42
SWE-Clar 基准测试：评估编码智能体澄清不完整需求并交付新软件的能力
SWE-Clar: Can Coding Agents Clarify Incomplete Client Requirements and Deliver Greenfield Software?
AI 导读
SWE-Clar 基于 Upwork 真实订单构建，包含 100 个总付款至少 $4,000 的任务及 512 个澄清问题。 该基准要求先进行需求澄清再进行代码实现，9 个前沿模型测试显示 GPT-6 Astra 任务通过率仅 67%。 数据集和评估代码已开源。
来源：arXiv · AI · arxiv.org