跳到正文
arXiv · NLP· Longze Chen, Qi Deng, Lu Wang, Renke Shan, Ze Gong, Run Luo, Jiaming Li, Jing Luo, Qiyao Wang, Min Yang·· 2026-10-14AI 评分58

ICLR 2026论文:基于偏好学习序数概率奖励模型

Learning Ordinal Probabilistic Reward from Preferences

AI 导读

研究提出概率奖励模型(PRM)范式及其离散实现序数概率奖励模型(OPRM),将奖励视为随机变量以学习响应质量的全概率分布。通过引入数据高效的区域淹没调优(RgFT)策略结合质量等级标注,该方法在多个奖励模型基准上比现有模型提升了2.9%至7.4%的准确率,并证明其能同时捕捉相对排序和绝对质量。

来源:arXiv · NLP · arxiv.org