arXiv · NLP· Cheng Gui, Yihua Shao, Lei Li, Jingcai Guo, Maolin Wang·· 4 小时前AI 评分22
Best-of-N 选择中尾部校准信号揭示有限预算下的奖励黑客现象
Whether or Where? Tail Calibration Signals Finite-Budget Reward Hacking in Best-of-N Selection
AI 导读
Best-of-N 推断性能取决于代理奖励在高分尾部的校准曲线，而非平均排名质量。 若校准曲线在尾部向下转折，增加候选数 $N$ 反而会降低最佳输出质量；在误差方差较大的低真值奖励区域，高斯噪声也可能导致结果劣于随机选择。 研究显示，真实数据中的尾部失效主要发生在代码生成领域，且尾部校准统计量能可靠预测预算上限的有效性。
来源：arXiv · NLP · arxiv.org