arXiv · ML· Ali Janati, Kaoutar El Maghraoui, Chengke Zou, Xinyi Luo, Wenyuan Shen·· 2026-10-14AI 评分27
轻量微调下的路由器敏感度用于识别 Mixture-of-Experts 模型中可剪枝的专家
Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models
AI 导读
利用轻量适配器微调路由器并据此剪枝 MoE 专家,可在保留精度的同时大幅降低资源占用。 在 Mixtral-8×7B-Instruct 上,router-only LoRA 仅训练 0.002% 参数,移除半数专家后 MMLU-Pro 准确率为 27.54%;剪枝使内存减少 49%,每 token 延迟降低 37%。
来源:arXiv · ML · arxiv.org