研究人员提出MoE专家剪枝新准则MAN与MSAN

研究人员针对混合专家（MoE）模型剪枝难题，提出了一套基于路由频率、门控权重和激活强度的三因素系统化评估公式，并制定了标准选择原则，为优化模型结构提供理论依据。 在具体实施上，研究明确任务无关剪枝应采用路由token平均及无门控激活标准，据此衍生出MAN（Mean Activation Norm）和MSAN（Mean Squared Activation Norm）两项新准则；而任务特定剪枝则可保留路由频率和门控权重信息以增强针对性。 在4个MoE模型与16个基准测试的验证中，新标准表现优异，平均性能提升4.0分，最高提升幅度达8.8分，证明其能显著改善剪枝后的模型效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。