跳到正文
arXiv · AI· Tianxiao Cao, Jiahe Shao, Yuning Qiu, Kyohei Atarashi, Hisashi Kashima, Qibin Zhao·· 2026-10-08AI 评分32

SLBF 实现无数据 Mixture-of-Experts 模型共享低秩基压缩

Shared Low-rank Basis Factorization for Data-free Mixture-of-Experts Compression

AI 导读

SLBF 提出一种无数据的 MoE 权重重构方法,通过专家共享的低秩基实现更丰富的跨专家共享,并在 5 个 16B 至 122B 参数的 MoE 架构上一致优于专家剪枝、合并及重建方法。 方法利用秩-k 基共享降低重构误差,事后规范修正在不损失表达能力的前提下消除冗余参数,论文已被 Findings of EMNLP 2026 接收。

来源:arXiv · AI · arxiv.org