arXiv · AI· Anshul Nayak, Shahil Shaik, Jonathan Smereka, Yue Wang·· 10 天前AI 评分35
基于推理引导的人类奖励建模用于基于偏好的强化学习
Reason-guided Human Reward Modeling for Preference-based Reinforcement Learning
AI 导读
本文提出一种基于推理引导的偏好型强化学习(PbRL)框架,从轨迹级反馈中学习人类奖励模型。 框架在偏好标签基础上引入推理标签(reason tags),解释行为被偏好的原因,使学习到的奖励模型能捕捉人类选择及其背后逻辑。 相较于仅基于偏好的奖励学习,该方法提供了额外监督信号,提升了策略的可解释性与人类对齐程度。
来源:arXiv · AI · arxiv.org