SWE-Skills-Bench评估揭示92个Agent技能在SWE任务中无显著效果
热点事件持续更新
SWE-Skills-Bench评估揭示92个Agent技能在SWE任务中无显著效果
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月28日,arXiv发布SWE-Skills-Bench基准测试。该基准评估了98个公开Agent技能对真实软件开发任务(SWE)的效用。基于GitHub仓库构建的可执行验证器,共进行了3,920次配对评估。 评估结果显示,92个技能对任务通过率无显著提升,整体平均通过率仅从76.6%微增至76.9%。有效技能最多能带来17.7个百分点的提升,而有害技能最多会导致17.0个百分点的下降。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
SWE-Skills-Bench:Agent 技能在实际软件开发中是否有用?报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv · AISWE-Skills-Bench:Agent 技能在实际软件开发中是否有用?
SWE-Skills-Bench 评估了 98 个公开 Agent 技能对真实 SWE 任务的效用,结果显示 92 个技能无显著效果,平均通过率仅从 76.6% 提升至 76.9%。 基准基于 GitHub 仓库构建可执行验证器,进行 3,920 次配对评估。有效技能最多提升 17.7 点,有害技能最多降低 17.0 点。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。