arXiv · AI· Tingxu Han, Yi Zhang, Wei Song, Chunrong Fang, Zhenyu Chen, Youcheng Sun, Lijie Hu·· 5 小时前AI 评分42
SWE-Skills-Bench：Agent 技能在实际软件开发中是否有用？
SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?
AI 导读
SWE-Skills-Bench 评估了 98 个公开 Agent 技能对真实 SWE 任务的效用，结果显示 92 个技能无显著效果，平均通过率仅从 76.6% 提升至 76.9%。 基准基于 GitHub 仓库构建可执行验证器，进行 3,920 次配对评估。有效技能最多提升 17.7 点，有害技能最多降低 17.0 点。
来源：arXiv · AI · arxiv.org