MuonGS优化器基于Gram-Schmidt投影提升LLM预训练效率
热点事件持续更新
MuonGS优化器基于Gram-Schmidt投影提升LLM预训练效率
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
arXiv新发布论文提出MuonGS优化器，由Athanasios Glentis等人设计，用于LLM预训练。其核心机制是利用Gram-Schmidt投影移除每次Muon更新的径向分量，在不固定权重范数的前提下实现更新方向的正交化控制。 实验在160M和400M参数规模密集模型，以及135M活跃参数/1B总参数MoE模型上进行验证。结果在长训练周期下，MuonGS较MuonH获得更低的验证困惑度，密集模型中展现出约15%的等效token加速效果。 论文还从理论上证明MuonGS权重范数增长受控，确保长周期训练的累积稳定性，为后续大模型预训练提供了更优的优化器选择。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
MuonGS: 基于宽松权重范数控制的 LLM 预训练优化器报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · AIMuonGS: 基于宽松权重范数控制的 LLM 预训练优化器
MuonGS 提出通过 Gram-Schmidt 投影移除更新径向分量，在 LLM 预训练中实现优于 MuonH 的验证困惑度。 该优化器在 160M 至 1B 参数规模模型中验证，密集模型较 MuonH 获得约 15% 等效 token 加速。 理论证明其权重范数增长受控，确保了后期训练的累积效果。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。