跳到正文
arXiv · ML· Jaehui Hwang, Dongyoon Han, Sangdoo Yun, Byeongho Heo·· 2026-10-07AI 评分39

NP-OPD:通过负策略 rollout 改进 on-policy distillation

On-Policy Distillation with Negative-Policy Rollouts

AI 导读

提出 NP-OPD,在 on-policy distillation 中加入低能力负策略 rollout 作为负参考。负策略在 rollout 阶段持续提供其偏好但弱于教师的 token,使这些 token 在全程训练中仍受教师监督。实验显示 NP-OPD 在多种模型规模、生成模式、推理领域和 OPD 变体下均优于基础 OPD。

来源:arXiv · ML · arxiv.org