无训练MoE专家剪枝的替换算子研究

arXiv最新发表了一项关于混合专家模型（MoE）无训练专家剪枝的研究。该研究深入探讨了在剪枝过程中，被移除专家的替换算子设计与路由语义对模型性能的影响。 研究人员对比了OLMoE、DeepSeek-V2-Lite和Moonlight模型中无训练专家剪枝的替换策略，重点分析了不同算子（如倾斜新人映射等）的表现。 研究发现，存活门控缩放（surviving gate scaling）是影响剪枝后模型精度的最大因素。若仅进行常规重归一化而不考虑缩放，将导致0.8至8.5分的显著精度损失。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。