Tetiana Parshakova发布基于统计视角的MN优化器

2026年10月20日，研究者Tetiana Parshakova在arXiv发布论文《A Statistical Viewpoint on Adam, Shampoo and Muon》。该论文基于统计建模方法，提出了一种名为MN及其变体（如MND、MND-Muon）的新型梯度更新优化器。其核心设计依赖于协方差白化技术，旨在通过在线估计梯度均值与方差来改进现有Adam、Shampoo及Muon等优化器的性能。 实验结果表明，新提出的MND变体在GPT-2模型训练任务中展现出优于分布式Shampoo（Distributed Shampoo）的性能，具体体现为训练过程更加稳定且所需训练时间更短。此外，MND-Muon变体进一步提升了Muon优化器的最终验证损失表现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。