arXiv · NLP· Afonso Baldo, Ant\'onio Farinhas, Marcos Treviso, Ricardo Rei, Nuno M. Guerreiro·· 4 小时前AI 评分36
Dynalize：利用动态惩罚缓解偏好奖励模型中的奖励作弊
Mitigating Reward Hacking in Preference Reward Models with Evolving Penalties
AI 导读
研究人员提出 Dynalize 方法，通过在策略训练期间在线生成并应用惩罚，有效缓解了偏好奖励模型中的奖励作弊现象。 该方法由语言模型定期分析训练 rollout，针对被奖励模型不当鼓励的行为编写惩罚，并由裁判应用于所有 rollout。 在临床咨询和创意写作任务中，Dyalize 能防止性能下滑，抑制非预期行为模式，且增益在多轮训练中依然有效。
来源：arXiv · NLP · arxiv.org