从统计视角看 Adam、Shampoo 和 Muon 优化器

论文通过统计建模提出新优化器 MN 及其变体，基于协方差白化设计梯度更新方法。 实验显示 MND 在 GPT-2 模型上比 Distributed Shampoo 更稳定且训练时间更短，MND-Muon 提升了 Muon 的最终验证损失。