跳到正文
arXiv · NLP· Shinnosuke Ono, Johannes Ackermann, Soichiro Nishimori, Takashi Ishida, Masashi Sugiyama·· 10 天前AI 评分27

通过优势符号鲁棒性缓解强化学习人类反馈中的奖励黑客

Mitigating Reward Hacking in Reinforcement Learning from Human Feedback via Advantage Sign Robustness

AI 导读

研究提出 SignCert-PO 方法,通过认证符号保持半径缓解 RLHF 中的奖励黑客现象。 该方法在策略优化阶段降低非鲁棒补全权重,无需多个奖励模型或训练数据,在 TL;DR 和 AlpacaFarm 基准上提升胜率。

来源:arXiv · NLP · arxiv.org