arXiv · ML· Woosung Koh, Hyunsoo Lee, Kyungjae Lee, Haeju Park, Dahyun Lee, Dasol Hwang, Moontae Lee·· 2026-10-12AI 评分26
通过合成自蒸馏持续后训练小模型
Continually Post-training Small Models via Synthetic Self-distillation
AI 导读
小模型缺乏强上下文学习导致自我蒸馏微调失效,SynthSelf 方法通过最小化对齐器生成合成数据解决分布偏移。 结合离策略监督与拒绝采样,SynthSelf 在 4 个获取数据集和 14 个保持基准中优于 6 种对比方法,覆盖 3 种小模型规模。 该方法证明了无需打破原始分布即可实现小模型有效持续学习,为低延迟终端设备部署铺平道路。
来源:arXiv · ML · arxiv.org