跳到正文
arXiv · ML· Sanjit Dandapanthula, Shuvom Sadhuka, Samir Khan, Michael Oberst, Aaditya Ramdas, Alexandra Chouldechova·· 2026-10-09AI 评分22

如何通过包络采样缓解 LLM 后训练中的 reward hacking

How to post-train on a surrogate: Envelope sampling mitigates reward hacking

AI 导读

研究提出包络采样方法,通过最小化后悔上界来重新校准 LLM 评委,有效缓解因误校准导致的 reward hacking。 该方法基于假设人类奖励与重新校准后的奖励位于评委附近的 $L^2$ 球内,并提供了基于拒绝采样或针对修改后奖励微调的实用算法。 在临床笔记生成和从众倾向任务上的实验表明,相比基于基础模型的样本,包络采样能更有效地抑制 reward hacking。

来源:arXiv · ML · arxiv.org