跳到正文
arXiv · NLP· Ruokai Yin, Steven Li·· 10 天前AI 评分37

SGA-Sparse: 通过训练 SwiGLU 门控实现激活稀疏与低比特 LLM

SGA-Sparse: Training Native SwiGLU Gates for Activation-Sparse and Low-Bit LLMs

AI 导读

提出 SGA-Sparse 方法,将预训练 SwiGLU LLM 转化为固定预算激活稀疏模型,通过直接训练门控作为 top-k 路由器,不使用辅助参数。 LLaMA 1B-8B 模型在约 30B 训练 token 后实现 75-85% FFN 通道稀疏,零样本准确率损失控制在 0.2-2.7 pp 以内。

来源:arXiv · NLP · arxiv.org