arXiv · ML· Guan Zhe Hong, Sumeet Ramesh Motwani, Liang Chen, Yangchen Pan, Junchi Yu, Jialin Yu, Philip Torr, Yi Ren·· 23 小时前AI 评分31
On-policy distillation 学习动力学的机制分析
Learning Dynamics of On-Policy Distillation
AI 导读
研究者对 on-policy distillation (OPD) 的学习动力学进行机制分析，区分了蒸馏信号转化为参数更新及更新广播重塑 rollout 分布两个阶段。
来源：arXiv · ML · arxiv.org