arXiv · AI· Victor Shea-Jay Huang, Rongqing Li, Zhangyue Yin, Kelong Mao, Yaqi Zhao, Xinyuan Wang, Yao Yin, Lirui Luo, Renrui Zhang, Hongsheng Li·· 2 小时前AI 评分30
SWE-Shift:评估演化工作区中编码智能体的基准测试
SWE-Shift: Evaluating Coding Agents in Evolving Workspaces
AI 导读
SWE-Shift 基准测试评估编码智能体在执行任务期间应对工作区动态变化的能力。 该基准包含 120 个场景、12 个变化族及 9 个干预点,成功标准包括完成当前任务、保留有效工作及满足状态检查。 对 17 个系统的测试显示,所有系统在“偏移”条件下的成功率均低于“干净”条件,且工具变更导致所有系统配对成功率为零。
来源:arXiv · AI · arxiv.org