arXiv · ML· Mingyu Cao, Yaokai Jin, Shiwei Liu, Lu Yi·· 17 天前AI 评分24
Bernoulli On-Policy Distillation:别忽略高置信度学生 token
Bernoulli On-Policy Distillation: Don't Ignore High-Confidence Student Tokens
AI 导读
标准采样反向 KL 在线策略蒸馏(OPD)会系统性抑制高置信度 token 的更新,且该梯度弱化不代表教师监督无效。 研究提出 Bernoulli OPD,直接匹配教师与学生概率,提供有界概率空间校正,保留教师-学生分歧并避免额外置信度依赖抑制。 固定 rollout 分析显示该方法显著恢复高置信度 token 的优化信号,且收益并非源于更长推理或更大优化步长。
来源:arXiv · ML · arxiv.org