arXiv · ML· Haonan Song, Qingchen Xie, Huan Zhu, Feng Xiao, Luxi Xing, Liu Kang, Fuzhen Li, Zhiyong Zheng, Feng Jiang, Ziheng Li, Kun Yan, Qingyi Si, Yanghua Xiao, Hongcheng Guo, Fan Yang·· 9 小时前AI 评分32
IRPM 通过组间相对偏好建模训练 Pointwise 生成式奖励模型
IRPM: Intergroup Relative Preference Modeling for Pointwise Generative Reward Models
AI 导读
IRPM 提出基于组间比较的 RL 方法，将 Bradley-Terry 范式扩展至 pointwise 生成式奖励模型。 该方法将偏好判断从 O(n^2) 降至 O(n)，在 JudgeBench 和 RewardBench 上达到 pointwise 模型 SOTA 性能。 模型与代码已开源。
来源：arXiv · ML · arxiv.org