跳到正文
arXiv · AI· Gabriel Peyr\'e·· 14 小时前AI 评分27

Muon 动力学作为谱 Wasserstein 流

Muon Dynamics as a Spectral Wasserstein Flow

AI 导读

研究基于 Muon 归一化的确定性连续时间均值场优化,提出由矩阵范数参数化的谱 Wasserstein 距离。 谱范数对应 Muon 几何,迹范数还原经典 $W_2$ 距离,Schatten 范数在两者间插值;证明单调范数下与 Benamou--Brenier 公式等价,并推导梯度流解释。 数值实验展示了该流在 MMD 目标、高斯简化、两层 ReLU 模型及浅层注意力中的应用。

来源:arXiv · AI · arxiv.org