跳到正文
arXiv · ML· Jingxuan Fan, Yueying Li, Zhenting Qi, Dinghuai Zhang, Kiant\'e Brantley, Sham M. Kakade, Hanlin Zhang·· 2026-10-14AI 评分37

无需标注:Next-token Preference 实现奖励模型规模化

Next-token Preference: Scaling Unsupervised Reward Modeling

AI 导读

提出非监督奖励建模方法 Next-token Preference (NTP),利用原始网页文本延续结构构建偏好对。 在 11M tokens 数学数据上训练,RewardBench 2 准确率较初始化提升 7.6-8.3 个百分点,无需人工标注。 显著降低对昂贵偏好标注的依赖,提升后续监督微调的标签效率。

来源:arXiv · ML · arxiv.org