arXiv · AI· Jelena Markovic-Voronov, Petros Prastakos, Kayhan Behdin, Jincheng Cao, Zhipeng Wang, Shayan Mohajer Hamidi, Yuanda Xu, Zhengze Zhou, Wenhui Zhu, Rahul Mazumder·· 4 小时前AI 评分23
混合专家语言模型的重构优化专家剪枝方法 OptEP
Reconstruction-Optimized Expert Pruning for Mixture-of-Experts Language Models
AI 导读
针对 MoE 模型部署时的参数存储瓶颈，研究者提出了后训练专家剪枝方法 OptEP。该方法将专家选择建模为子集选择问题，通过优化可微分的专家选择变量并重构权重以保留更多原始性能。
来源：arXiv · AI · arxiv.org