arXiv · AI· Yike Wang, Huaisheng Zhu, Zhengyu Hu, Yige Yuan, Zhengyu Chen, Shakti Senthil, Hannaneh Hajishirzi, Yulia Tsvetkov, Noah A. Smith, Pradeep Dasigi, Teng Xiao·· 2026-10-05AI 评分31
Agent 自动 Harness 进化在 ARC-AGI-3 上提升 80.0% 但通用场景不及测试时缩放
Rethinking the Evaluation of Harness Evolution for Agents
AI 导读
研究发现自动 Harness 进化在 Terminal-Bench 2.1 上无法超越简单测试时缩放基线,且泛化能力有限。 但在长程博弈场景中表现优异,ARC-AGI-3 提升 80.0%,EdgeBench 提升 10.9%。 这凸显了在匹配预算和留出集评估下区分真实改进与过拟合的必要性。
来源:arXiv · AI · arxiv.org