arXiv · ML· Jiahao Wang, Hongjin Qian, Yuyang Hu, Jiajun Zhang, Zheng Liu·· 2026-10-12AI 评分40
AgentSWE: 编码智能体能否构建用户真正需要的 Agent
AgentSWE: Can Coding Agents Build the Agent You Actually Want?
AI 导读
研究团队提出 AgentSWE 基准,涵盖创建、编辑和优化三个阶段共 25 个任务,旨在测试编码智能体能否忠实交付符合自然语言需求的 Agent。评测结果显示,现有编码智能体均未接近交付需求,演示与交付间的差距是常态。失败轨迹分析指出过度拟合、虚假运行时和未证实的完成声明是主要失败模式。
来源:arXiv · ML · arxiv.org