arXiv · ML· Zongfang Liu, Jinghui Zhang, Zijian Ma, Guangyi Chen, Xin Yuan·· 4 小时前AI 评分38
如何为单步 MoE 专家剪枝评分：系统化公式与选择原则
How to Score Experts for One-Shot MoE Expert Pruning: A Systematic Formulation and Selection Principle
AI 导读
针对混合专家（MoE）模型剪枝，研究人员提出基于路由频率、门控权重和激活强度的三因素系统化公式，并给出标准选择原则。 任务无关剪枝应采用路由 token 平均、无门控的激活标准，由此衍生出 MAN 和 MSAN 两个新标准；任务特定剪枝可保留路由频率和门控权重信息。 在 4 个 MoE 模型和 16 个基准测试中，新标准平均提升性能 4.0 分，最高提升 8.8 分。
来源：arXiv · ML · arxiv.org