arXiv · ML· Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu·· 2026-10-05AI 评分41
密集不等于更好:持续后训练中自蒸馏策略优化的局限
Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training
AI 导读
研究表明,自蒸馏策略优化(SDPO)在教师信号稳定时能加速领域内专业化,但在持续后训练中表现出更严重的遗忘,甚至导致模型崩溃,泛化能力不及 GRPO。 分析发现,参数与响应空间的漂移以及自增强师生循环放大的高频伪影是导致这些失败的主要原因。 因此,仅依靠在策略数据不足以实现持续学习,自蒸馏不应被视为持续后训练的默认稳定器。
来源:arXiv · ML · arxiv.org