arXiv · ML· Lin Yao·· 9 天前AI 评分31
DRD-MOPD:域路由增量优化用于多教师在线策略蒸馏
Domain-Routed Delta Optimization for Multi-Teacher On-Policy Distillation
AI 导读
提出 DRD-MOPD 方法,通过冻结基础模型与可训练组件结合实现多教师在线策略蒸馏,在六项基准测试中取得 32.72% 宏分数。 该方法将样本划分为不同领域并更新独立优化器状态,保留 88.04 至 92.41 度的原始专家几何角度。 导出 BF16 学生模型的增量外部能量占比为 4.90%,优于此前 Open-MOPD 的 97.02% 外部能量分布。
来源:arXiv · ML · arxiv.org