跳到正文
arXiv · ML· Lin Yao·· 9 天前AI 评分31

DRD-MOPD:域路由增量优化用于多教师在线策略蒸馏

Domain-Routed Delta Optimization for Multi-Teacher On-Policy Distillation

AI 导读

提出 DRD-MOPD 方法,通过冻结基础模型与可训练组件结合实现多教师在线策略蒸馏,在六项基准测试中取得 32.72% 宏分数。 该方法将样本划分为不同领域并更新独立优化器状态,保留 88.04 至 92.41 度的原始专家几何角度。 导出 BF16 学生模型的增量外部能量占比为 4.90%,优于此前 Open-MOPD 的 97.02% 外部能量分布。

来源:arXiv · ML · arxiv.org