arXiv · AI· Morio Hamada, Jehyeok Yeon, Matteo Migliarini, Justin Olive, Magda Dubois·· 2026-10-16AI 评分41
基准饱和后,成对判定比仅用分数更准地预测模型能力
Evaluating Model Capabilities After Benchmark Saturation
AI 导读
summary_zh: 基准分数饱和后,完整解题轨迹仍保留能力预测信息。 研究通过回溯历史数据测试多种轨迹协议,成对判定相比仅用饱和分数降低预测误差5.3倍。 饱和基准仍具信号价值,但需专门方法设计以提取鲁棒信号。
来源:arXiv · AI · arxiv.org