arXiv · ML· Haoyu Chen, Jun Bai, Yang Liu, Jianfei Zhang, Wenge Rong·· 9 小时前AI 评分22
MoEvolve 通过策略双向蒸馏增强 MoE 模型
A Stronger Teacher Within: Strengthening MoE Models via On-Policy Bidirectional Distillation
AI 导读
MoEvolve 提出一种双向蒸馏框架，通过提升每个 token 的激活预算来挖掘 MoE 模型内部潜在更强教师模型。 该方法在恢复高激活模型性能后，将能力反向蒸馏回原始低激活配置，保留推理时的激活预算。在多种基准测试中，该方法将初始模型平均性能提升最高 22.2 点，并超过相同预算的 RLVR 基线最高 6.5 点。
来源：arXiv · ML · arxiv.org