arXiv · ML· Ruize Zheng, Xuyang Liu, Siyu Ren, Xiaobing Tu, Yinggui Wang, Jinkui Ren, Xiantao Zhang, Linfeng Zhang·· 9 天前AI 评分29
OPMD 方法通过在线策略蒸馏提升 Qwen3 大语言模型性能
Beyond Passive Imitation: On-Policy Mid-Training Distillation for Language Models
AI 导读
针对连续预训练中标准目标对不同模型效果差异问题,研究团队提出在线策略中训练蒸馏(OPMD)方法。该方法让模型学习自身实际访问的状态,在 MATH-500 和 Minerva 基准测试上改善了 Qwen 模型性能,并优于标准基线方法。
来源:arXiv · ML · arxiv.org