arXiv · ML· Yifan Yang, Hanling Yi, Dongquan Yang, Feng Lin, Rong Xiao, Aijun Li, Xiaotian Yu·· 29 天前AI 评分31
SPARE:基于路由熵的 MoE 高效稀疏分配方法
SPARE: Sparsity Allocation via Routing Entropy for Efficient MoEs
AI 导读
研究团队提出 SPARE,一种基于路由熵的免训练 MoE 专家剪枝方法,能够动态分配各层剪枝预算。 该方法在相同条件下优于均匀剪枝,使 Qwen3-30B-A3B 在 50% 剪枝率下的八项任务平均准确率从 57.2% 提升至 63.8%。
来源:arXiv · ML · arxiv.org