GS-MoE 免训练 MoE 压缩框架发表
热点事件持续更新
GS-MoE 免训练 MoE 压缩框架发表
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
2026年10月26日,Carson Cary 等人在 arXiv 上发表论文,提出 GS-MoE 免训练 MoE 压缩框架。 该框架通过组共享低秩表示与 Nyström 神经元压缩,协同降低参数量,无需梯度优化。 在 DeepSeek-MoE-16B-Base 上,压缩 60% 参数后保留约 90% 平均推理性能,域外困惑度比 D²-MoE 低 20%。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 12:00
GS-MoE:通过组共享子空间与剪枝实现免训练 MoE 模型压缩报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv · MLGS-MoE:通过组共享子空间与剪枝实现免训练 MoE 模型压缩
GS-MoE 提出免训练 MoE 压缩框架,通过组共享低秩表示与 Nyström 神经元压缩协同降低参数量。在 DeepSeek-MoE-16B-Base 上,压缩 60% 参数后保留约 90% 平均推理性能,域外困惑度比 D²-MoE 低 20%。该框架无需梯度优化,适合高压缩率下的细粒度 MoE 模型部署。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。