arXiv · AI· Tian Wang, Yongding Tao, Yihong Dong, Xiaoming Wu, Ying Guo, Ge Li·· 2 小时前AI 评分25
混合专家大语言模型的结构保持专家剪枝方法
Experts Exhibit Structured Redundancy: Structure-Preserving Expert Pruning for Mixture-of-Experts Large Language Models
AI 导读
研究提出结构保持专家剪枝框架，包含PEEP与DCEP两种方法，以解决MoE模型部署时的显存开销问题。 实验显示，在DeepSeek-V2-Lite和Qwen3-30B-A3B模型上，该方法在75%和50%专家保留率下，于多数基准测试中优于现有最先进基线。 该方法通过贪心策略优化专家子集选择，兼顾专家全局结构关系与局部重要性。
来源：arXiv · AI · arxiv.org