arXiv · NLP· Jiwoo Hong, Shao Tang, Zhipeng Wang·· 6 小时前AI 评分35
ICRM 通过变分推断实现奖励模型测试时可操控性
Bayesian Preference Learning for Test-Time Steerable Reward Models
AI 导读
研究提出变分上下文奖励建模（ICRM），将奖励建模视为潜变量偏好概率的摊销变分推断。ICRM 使奖励模型在测试时通过上下文偏好演示适应未见分布。 在 RM-Bench 上，增加演示使准确率从 60.5 提升至 70.8，且校准误差低于生成式评判者。ICRM 在数学推理中通过有效编码可验证奖励优于传统 RM。
来源：arXiv · NLP · arxiv.org