SWE-Shift发布：新基准揭示编码智能体应对动态工作区短板

SWE-Shift基准测试近日在arXiv发布，旨在评估编码智能体在执行任务时应对工作区动态变化的能力。该测试集包含120个场景、12个变化族及9个干预点，成功标准涉及任务完成、有效工作保留及状态检查。 对17个系统的测试结果显示，所有系统在“偏移”条件下的成功率均低于“干净”条件。值得注意的是，工具变更导致所有被测试系统的配对成功率降至零。该研究揭示了当前编码智能体在应对演化工作区时的局限性，为相关评估提供了量化依据。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。