跳到正文
arXiv · AI· Zhan-Yu Wu, Ji Luo, Alyssa Wu, Junjielong Xu, Richeng Xuan, Zhichao Hu, Chongming Gao, Xinting Hu·· 29 天前AI 评分40

UserSWE:评估多轮动态交互中编码智能体的基准

UserSWE: Evaluating Coding Agents in Multi-Turn Conversations with Dynamic Users

AI 导读

提出 UserSWE 基准以评估编码智能体在多轮对话中修复仓库级 Bug 的能力,涵盖 42 个仓库的 72 项任务。 测试基于 20,859 个开发会话校准的 persona chain,每轮执行测试并由双智能体判定结果。 评估显示 Claude Fable 5.1 在单轮解决任务最多,GPT-6-Astra 在八轮时表现最佳,证明单轮性能无法充分表征交互能力。

来源:arXiv · AI · arxiv.org