跳到正文
arXiv · NLP· Jinze Li, Weijie Liu, Jinfeng Xu, Shuo Yang, Xin Yang, Yang Zhang, Yijin Wang, Zifei Shan, Edith C. H. Ngai·· 6 小时前AI 评分47

SWE-Residual 基准:评估编程智能体起始状态鲁棒性

SWE-Residual: Evaluating Starting-State Robustness of Coding Agents

AI 导读

SWE-Residual 基准包含源自 DeepSWE 和 Terminal-Bench 的 198 个残留状态,用于测试智能体在接手既有未完成工作时的鲁棒性。

来源:arXiv · NLP · arxiv.org