MuonGS: 基于宽松权重范数控制的 LLM 预训练优化器

MuonGS 提出通过 Gram-Schmidt 投影移除更新径向分量，在 LLM 预训练中实现优于 MuonH 的验证困惑度。 该优化器在 160M 至 1B 参数规模模型中验证，密集模型较 MuonH 获得约 15% 等效 token 加速。 理论证明其权重范数增长受控，确保了后期训练的累积效果。