Pref-LaMP 基准揭示奖励模型与策略性能脱钩

研究团队提出个性化对齐新指标 Policy Accuracy 及基准 Pref-LaMP，旨在评估奖励引导自适应 LLM 对偏好与反偏好响应的判别能力。该基准包含真实用户补全，旨在解决标准奖励模型准确率无法预测下游部署性能的问题。 研究发现上游奖励模型准确率与下游策略准确率呈弱相关，Kendall's tau 值仅为 0.08-0.31。Pref-LaMP 揭示不同方法间 RM 准确率差异达 20 点时，其生成质量几乎相同，表明仅靠 RM 准确率不足以保障对齐效果。 实验结果表明，简单的上下文学习（ICL）在 7B 规模模型上表现优于所有奖励引导方法，其 ROUGE-1 分数高出最佳奖励方法约 3 点。这一发现挑战了复杂奖励建模在个性化对齐中的必要性。

AI 根据报道生成 · 3 小时前更新