arXiv · ML· Ezza Ali, Sehrish Bibi, Momina Moetesum, Faisal Shafait·· 4 小时前AI 评分28
训练-free MoE 专家剪枝中替换算子与路由语义的研究
What We Keep of What We Forget: Replacement Operators and Routing Semantics in Training-Free MoE Expert Pruning
AI 导读
研究对比了 OLMoE、DeepSeek-V2-Lite 和 Moonlight 模型中无训练专家剪枝的替换算子，发现存活门控缩放是最大影响因子，常规重归一化操作会导致 0.8-8.5 分精度损失。
来源：arXiv · ML · arxiv.org