arXiv · ML· Fan Mo, Yuxuan Han, Geng Zhang, Wangbo Zhao, Yang You·· 12 小时前AI 评分31
FlexMoE 学习面向多预算的一体化专家剪枝,实现灵活 MoE 部署
FlexMoE: Learning One-for-All Multi-Budget Expert Pruning for Flexible MoE Deployment
AI 导读
FlexMoE 提出训练后多预算专家剪枝框架,将大型 MoE 模型转化为共享权重的子网络族。 该框架通过重要性排序专家 FFN 通道构建可切片权重空间,单次训练即可生成各预算下的剪枝掩码;在 Qwen2-57B-A14B 上剪枝 50% 路由专家参数后,保留约 99.8% 的基础性能。
来源:arXiv · ML · arxiv.org