Reverse-KL蒸馏统计保证研究

Haolin Liu等人于2026年10月23日在arXiv发布研究，旨在解决Reverse-KL蒸馏在语言模型训练中统计保证不明确的问题。 研究指出在线蒸馏中，仅观察学生动作概率比获取教师全分布需更多数据，而离线蒸馏在两种反馈模式下均能达到相同极小极大率。 通过轨迹损失和重要性比率截断技术，团队实现了最优在线蒸馏保证，揭示了在线目标面临的统计挑战，阐明了两者的样本复杂性差异。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。