arXiv · ML· Jiazheng Zhang, Wenqing Jing, Zizhuo Zhang, Zhiheng Xi, Shihan Dou, Rongxiang Weng, Jiahuan Li, Jingang Wang, Mingxu Chai, Shibo Hong, Yuming Yang, Chenhao Huang, Tao Gui, Qi Zhang, Xuanjing Huang·· 8 小时前AI 评分33
Collaborative Reward Modeling 如何提升 LLM 对齐中的奖励泛化能力
Two Minds Better Than One: Collaborative Reward Modeling for LLM Alignment
AI 导读
针对偏好反馈噪声导致的奖励误泛化问题，Collaborative Reward Modeling (CRM) 框架在 40% 偏好噪声下将 RewardBench 上的奖励模型泛化能力提升最多 9.94 分。 CRM 结合跨模型同行评审与课程学习，通过两个奖励模型相互评估样本选择并同步学习进度，有效缓解确认偏差。 该框架可推广至隐式奖励对齐场景，为从不完美的反馈中学习提供了鲁棒且通用的方法。
来源：arXiv · ML · arxiv.org