arXiv · AI· Fady Rezk, Yuangang Pan, Chuan-Sheng Foo, Xun Xu, Nancy Chen, Henry Gouk, Timothy Hospedales·· 6 小时前AI 评分41
个性化对齐中奖励模型选择的危机：判别排名与生成行为脱钩
The Reward Model Selection Crisis in Personalized Alignment
AI 导读
标准奖励模型（RM）准确率无法预测个性化部署性能，上游 RM 准确率与下游策略准确率仅弱相关（Kendall's tau = 0.08--0.31）。 研究引入首个含真实用户补全的个性化基准 Pref-LaMP，揭示 RM 准确率差异达 20 点的方法生成质量几乎相同。 发现简单上下文学习（ICL）优于所有奖励引导方法，在 7B 规模上 ROUGE-1 高出最佳奖励方法约 3 点。
来源：arXiv · AI · arxiv.org