跳到正文
arXiv · ML· Zhengxin Zhang, Maosen Tang, Ning Wang, Changhao Li, Jingren Zhou, Bo Dai, Sainyam Galhotra, Alex Townsend, Claire Cardie·· 2026-10-16AI 评分36

随机截断在线策略蒸馏(STOPD)加速训练研究

Does On-Policy Distillation Need to Complete Every Rollout?

AI 导读

研究人员提出STOPD方法,通过随机截断学生模型的生成轨迹并采用逆概率加权,有效降低了在线策略蒸馏的计算成本。 该方法减少了25-48%的token生成量,实现了1.3-2.2倍的训练速度提升,且准确率与完整轨迹蒸馏相当。

来源:arXiv · ML · arxiv.org