arXiv · AI· Sinuo Wang, Jiacheng Lu, Zeyu Zhang, Maojia Song, Rui Sun, Beidi Luan, Yutong Xie, Jing Li, Daxin Jiang, Qi Wu, Zuo Bai·· 3 小时前AI 评分26
P$^2$-MOPD 通过参数先验加速多教师在线策略蒸馏
P$^2$-MOPD: Accelerating Multi-Teacher On-Policy Distillation via Parameter Priors
AI 导读
P$^2$-MOPD 提出一种将专家参数作为先验、在在线策略蒸馏目标下联合优化混合系数与学生权重的方法。该方法避免任务算术将模型限制在冻结参数线性组合空间内的局限，保持学生参数可训练。在 1.7B 与 4B 规模、四个领域的实验中，P$^2$-MOPD 以更少训练步数实现更平衡的快速恢复，最终 1.7B 模型平均恢复率达 94.7%，优于 MOPD 的 80.9%。
来源：arXiv · AI · arxiv.org