arXiv · ML· Etienne Gauthier, Francis Bach, Michael I. Jordan·· 10 天前AI 评分23
迭代 RLHF 中对齐崩溃的解释与预防
Explaining and Preventing Alignment Collapse in Iterative RLHF
AI 导读
研究指出迭代 RLHF 因忽略策略对奖励模型(RM)更新的影响项,导致策略利用 RM 盲区引发对齐崩溃。 论文基于 Stackelberg 博弈分解策略优化梯度,提出远视策略优化(FPO)以正则化该影响项,恢复缺失的对齐机制。 FPO 通过一阶近似实现,并在 Llama-3.2-1B 等环境中验证了其对对齐崩溃的预防效果。
来源:arXiv · ML · arxiv.org