跳到正文
arXiv · AI· Wenpeng Zhang, Runsheng Yu·· 2026-10-06AI 评分30

DGA-Muon:解耦几何对齐自适应缩放优化器

DGA-Muon: Decoupled Geometry-Aligned Adaptive Scaling for Muon

AI 导读

DGA-Muon 提出将自适应缩放与正交化解耦,通过直接基于原始梯度计算缩放因子并匹配极性因子的几何结构,优化 Muon 的自适应机制。 该方法结合基于求和的二阶矩估计、偏差校正和自适应裁剪,并建立了收敛性保证;实证结果验证了 NorMuon 的缩放退化特性及 DGA-Muon 相对于 NorMuon 的优越性能。

来源:arXiv · AI · arxiv.org