跳到正文
arXiv · ML· Sikun Xu, Raphael Thomadsen, Dennis J. Zhang, Heng Zhang·· 2 天前AI 评分26

LLM Leaderboards 中的赢家诅咒:用 RULER 框架纠正排名偏差

SOTA or Luck? The Winner's Curse in LLM Leaderboards

AI 导读

公开 LLM 排行榜的头部模型分数存在系统性高估,源于排名机制奖励了采样运气。研究提出 RULER 框架,利用 m-out-of-N bootstrap 修正排名诱导偏差。

来源:arXiv · ML · arxiv.org