arXiv · NLP· Wei Fan, Qingyue Yang, Chao-Hong Tan, Qian Chen, Wen Wang, Xiangang Li, Kejiang Chen, Weiming Zhang, Nenghai Yu·· 2026-10-14AI 评分45
LoOPSD:通过循环教师进行在线策略自蒸馏
LoOPSD: On-Policy Self-Distillation with Looped Teachers
AI 导读
LoOPSD 提出通过搜索同一模型的层执行顺序来构建更强的教师模型,并蒸馏其优势给学生,无需改变模型权重。 在数学和逻辑推理任务中,该方法显著提升了模型表现。在 GSM8K 上(400-token 思考预算),Qwen3-1.7B 的准确率从 42.30% 提升至 79.61%,多轮蒸馏带来持续增益。 研究展示了将模型额外计算转化为能力提升的新路径,拓展了自蒸馏的监督来源。
来源:arXiv · NLP · arxiv.org