arXiv · ML· Carson Cary, Yukai Jin, Yihao Huang, Zhankai Ye, Fangyi Li, Ting Hua, Xin Liu, Shangqian Gao·· 5 小时前AI 评分24
GS-MoE：通过组共享子空间与剪枝实现免训练 MoE 模型压缩
GS-MoE: Training-Free MoE Compression via Groupwise Subspace Sharing and Pruning
AI 导读
GS-MoE 提出免训练 MoE 压缩框架，通过组共享低秩表示与 Nyström 神经元压缩协同降低参数量。在 DeepSeek-MoE-16B-Base 上，压缩 60% 参数后保留约 90% 平均推理性能，域外困惑度比 D²-MoE 低 20%。该框架无需梯度优化，适合高压缩率下的细粒度 MoE 模型部署。
来源：arXiv · ML · arxiv.org