跳到正文
arXiv · ML· Hubert Strauss, Liam Fowl, Noam Razin·· 13 小时前AI 评分27

基于 On-Policy Distillation 目标的理论分析:Token 优先级、顺序与效率

Which Tokens, in What Order, and How Fast? A Theoretical Analysis of On-Policy Distillation Objectives

AI 导读

论文理论分析了 On-policy Distillation 中目标选择对 Token 优先级、顺序及优化效率的影响。 研究发现序列级 OPD 存在“未来一致性偏差”,导致先匹配后段 Token 的反向学习顺序;前向 KL 散度具有良好优化景观,而反向 KL 等散度易出现梯度消失。

来源:arXiv · ML · arxiv.org