arXiv · ML· Zhengyu Fang, Seoyeon Hong, Jie Yang, Muyang Li, Koyoshi Shindo, Brandon Joseph Lwowski, Jing Li·· 2026-10-05AI 评分38
Latent-MOPD:基于潜空间的多教师在线策略蒸馏方法
Latent-MOPD: Latent Multi-Teacher On-Policy Distillation
AI 导读
研究人员提出 Latent-MOPD,这是一种在表示级别实现 LLM 多教师在线策略蒸馏的方法。该方法通过整合专家模型的预测分布与隐状态,无需额外训练教师模型,在数学、代码和逻辑等九项基准测试中均优于仅使用 token 或仅使用表示的基线。在参数规模与单一教师相同的情况下,学生模型在大多数基准上超越了表现最佳的教师。
来源:arXiv · ML · arxiv.org