arXiv · ML· Sikun Xu, Raphael Thomadsen, Dennis J. Zhang, Heng Zhang·· 2 天前AI 评分26
LLM Leaderboards 中的赢家诅咒:用 RULER 框架纠正排名偏差
SOTA or Luck? The Winner's Curse in LLM Leaderboards
AI 导读
公开 LLM 排行榜的头部模型分数存在系统性高估,源于排名机制奖励了采样运气。研究提出 RULER 框架,利用 m-out-of-N bootstrap 修正排名诱导偏差。
来源:arXiv · ML · arxiv.org