arXiv · NLP· Yifu Luo, Chuang Ma, Zeyu Chen, Enkelejda Kasneci, Qi Chen, Gjergji Kasneci·· 21 天前AI 评分28
多教师自适应在策略自蒸馏:每个 Token 需要专属教师
Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation
AI 导读
论文提出多教师自适应在策略自蒸馏(MTA-OPSD)方法,针对大语言模型后训练场景。该方法构建了多教师池,允许每个 Token 在训练时自适应选择最适合的教师。 在 Qwen3 模型上进行的数学推理任务实验中,MTA-OPSD 表现优于现有的在策略自蒸馏方法。相比基础模型,其性能平均提升高达 5.9 分。 代码已开源。
来源:arXiv · NLP · arxiv.org