arXiv · AI· Shuaishuai Zu, Jihao Zhao, Pengfei Li, Guanghuan Fang, Ben Feng, Yuhan Liu, Biao Qin, Baochuan Yang·· 23 小时前AI 评分26
O²PD：基于可靠前缀重叠门控的在线策略蒸馏
O$^2$PD: Overlap-Gated On-Policy Distillation on Reliable Prefix
AI 导读
针对在线策略蒸馏中教师指导不可靠及top-k支持集丢弃概率质量的问题，提出O²PD方法。 方法将蒸馏限制在学生生成轨迹前20%的token上，并引入Reset Support和Support Convergence策略，利用重叠门控α-散度在覆盖与寻模之间自适应插值。 该方法从理论上解决了教师支持集未覆盖及主导模式不匹配问题，提升了基于前缀的对齐可靠性。
来源：arXiv · AI · arxiv.org