Contrary Research 报告指出 AI 基准测试存在 Goodhart 效应

Contrary Research 于 2026 年 10 月 21 日发布了一份关于 AI 基准测试缺陷的研究报告。该报告指出，当前流行的 AI 基准测试因强化学习（RL）驱动的优化机制，容易陷入 Goodhart 定律陷阱，导致模型得分与真实世界能力严重脱节。 报告进一步分析了优质基准测试构建成本高昂的原因，并提出了改进方向。研究强调，现有测试体系已失效，亟需探索更能反映真实能力的替代方案，以解决当前评估体系中信号失真问题。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。