arXiv · NLP· Ivo Verhoeven, Pushkar Mishra, Ekaterina Shutova·· 2026-10-08AI 评分32
奖励模型的记忆偏差分析
What do Reward Models Memorize?
AI 导读
研究发现判别式训练的奖励模型存在记忆分配偏差,在两个人类偏好数据集上表现不佳。 具体表现为将记忆错误分配给高置信度的简单偏好对,并过度泛化长度或顺从性等启发式特征。 这些偏差导致奖励模型无法准确判断依赖特定场景的反应质量。
来源:arXiv · NLP · arxiv.org