arXiv · ML· Aditya Somasundaram, Charles Guille-Escuret, Alexander Moreno, Zhengzhong Liu, Eric Xing·· 2026-10-14AI 评分20
Muon 优化器中 Softmax 极限处理:基于 Hilbert 几何的统一方法
Taming Softmax at the Limits of Muon: A Unified Approach through Hilbert Geometry
AI 导读
论文提出使用 Hilbert 距离作为度量,以约束 Softmax 输出分布的变化并限制交叉熵损失变动。该方法将 RowNorm 与 Compositional Muon 统一在相同的数学框架下,分别对应 LM head 与注意力机制的最速下降求解。这为在 Softmax 模块中设计优化器提供了新的指导原则。
来源:arXiv · ML · arxiv.org