Hacker News LLM· bhu8·· 3 天前精选AI 评分76
LLM Benchmaxxing 统计分析报告
A Statistical Analysis of LLM Benchmaxxing
AI 导读
作者提出统计模型量化 LLM 对旧基准的过拟合(Benchmaxxing)倾向,发现 Google 模型在发布前基准上平均高出 1.41 ECI 分。若扣除该效应,Gemini 4.0 Argon 在 ECI 排名中将从第 4 降至第 6。
推荐理由
通过统计模型量化各实验室在旧基准上的过拟合倾向,为解读 LLM 排行榜分数提供可复现的分析框架。
来源:Hacker News LLM · llemre.com