跳到正文
arXiv · ML· Vishrut Goyal, Rohan Ramkumar·· 2026-10-09AI 评分25

谱向目标 Muon:一种基于阈值正交化梯度更新的优化器

Spectrally Targeted Muon

AI 导读

研究提出谱向目标 Muon,通过设定阈值 τ 仅对大于或小于该值的奇异值进行正交化,在 CIFAR-10 和 NanoGPT 基准上验证了其有效性。该优化器利用牛顿-舒尔茨迭代在平移 Gram 矩阵上计算投影,无需 SVD 即可隔离目标奇异子空间。

来源:arXiv · ML · arxiv.org