跳到正文
arXiv · AI· Yilun Yao, Jiaming Pan, Elsie Dai, Peizhuang Cong, Chao-Hsuan Liu, Yaoming Li, Tong Yang·· 2026-10-14AI 评分23

ConMoE:将 MoE 压缩重构为专家选择与功能分配

ConMoE: MoE Compression as Expert Selection and Functional Assignment

AI 导读

提出 ConMoE 框架,将 MoE 压缩解耦为专家池构建与负载分配两步,实现参数高效压缩。 利用无标签校准输入优化分配,在 50% 专家保留率下,峰值 GPU 显存降低 29.6%-48.4%,且 Macro Accuracy 提升 1.82 个百分点。 该结果确立了专家分配作为 MoE 压缩中独立的优化维度。

来源:arXiv · AI · arxiv.org