跳到正文
arXiv · AI· Licheng Pan, Haocheng Yang, Yuzhou Chen, Yichen Sun, Yuan Lu, Yunfei Teng, Jiajun Fan, Guangyi Liu, Zhixuan Chu, Hao Wang·· 2026-10-16AI 评分33

CleanRM:利用少量清洁反馈从含噪数据中建模奖励的 RLHF 方法

CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF

AI 导读

论文提出 CleanRM 方法,旨在解决 RLHF 中偏好数据普遍存在的反馈噪声导致的奖励模型偏差问题。 利用少量清洁反馈通过最优传输校准样本级噪声比率,并训练去噪修正的替代损失目标。 实验证明 CleanRM 优于最新基准方法,能带来更有效的下游 RLHF 对齐效果。

来源:arXiv · AI · arxiv.org