跳到正文
热点事件持续更新

GS-MoE 免训练 MoE 压缩框架发表

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

2026年10月26日,Carson Cary 等人在 arXiv 上发表论文,提出 GS-MoE 免训练 MoE 压缩框架。 该框架通过组共享低秩表示与 Nyström 神经元压缩,协同降低参数量,无需梯度优化。 在 DeepSeek-MoE-16B-Base 上,压缩 60% 参数后保留约 90% 平均推理性能,域外困惑度比 D²-MoE 低 20%。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv · ML
    GS-MoE:通过组共享子空间与剪枝实现免训练 MoE 模型压缩

    GS-MoE 提出免训练 MoE 压缩框架,通过组共享低秩表示与 Nyström 神经元压缩协同降低参数量。在 DeepSeek-MoE-16B-Base 上,压缩 60% 参数后保留约 90% 平均推理性能,域外困惑度比 D²-MoE 低 20%。该框架无需梯度优化,适合高压缩率下的细粒度 MoE 模型部署。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。