研究提出保持结构的MoE专家剪枝方法

2026年11月2日，arXiv发布了一项关于混合专家（MoE）大语言模型的研究。该研究由Tian Wang等人提出，旨在解决MoE模型在部署过程中面临的显存开销问题。 研究人员构建了一个统一的结构保持专家剪枝框架，并提出了两种具体方法：投影能量专家剪枝（PEEP）和分布覆盖专家剪枝（DCEP）。PEEP通过最大化加权投影能量来保持功能子空间；DCEP则通过最小化加权覆盖误差来保持分布几何。 实验在DeepSeek-V2-Lite和Qwen3-30B-A3B两个模型上进行。结果显示，在75%和50%的专家保留率下，这两种方法在多数基准测试中优于现有的最先进基线，并在通用任务和数学推理任务上取得了最佳平均性能。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。