arXiv · ML· Zongfang Liu, Guangyi Chen, Yifan Shen, Shengkun Tang, Huan Wang, Xin Yuan·· 1 天前AI 评分37
AIMER：免校准的 MoE 专家剪枝方法
AIMER: Calibration-Free Task-Agnostic MoE Expert Pruning
AI 导读
AIMER 提出了一种免校准的专家剪枝标准，通过捕捉专家权重的集中度模式提升任务通用性。 该方法在 7B 至 47B MoE 模型及 16 个基准测试中表现优于现有免校准方法，甚至优于基于 C4 语料的校准基线。 剪枝全程仅需 0.22–2.06 秒完成所有专家评分，已被 EMNLP 2026 Findings 接收。
来源：arXiv · ML · arxiv.org