跳到正文
arXiv · NLP· Hexuan Deng, Yue Wang, Wenyu Jiang, Cheng Yang, Haolin Yang, Zhaohua Zhang, Chenchen Zhao, Beiduo Chen, Muxi Chen, Sa Zhu, Geyuan Zhu, Jianhuan Zhuo, Qiuyong Xiao, Tianwen Jiang, Jihong Zhang, Xuebo Liu·· 2026-10-09AI 评分40

SWE-Journey:面向长时程多轮交互的编程助手更真实评估基准

SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction

AI 导读

研究团队提出 SWE-Journey 基准,旨在通过长时程任务和多轮交互更真实地评估编程助手。该基准结合弱到强合成管线生成任务,并基于四类用户画像构建模拟智能体重现交互。 结果显示模型在软件架构师场景下通过率超 75%,但在非程序员场景下低于 25%。分析指出,“问对、找对、改对”是当前助手辅助非程序员可靠编程的关键缺失能力。

来源:arXiv · NLP · arxiv.org