arXiv · ML· Alexander Gaponov, Grigory Malinovsky, Egor Shulgin, Peter Richtarik·· 6 小时前AI 评分33
DP-Muon 如何实现可缩放差分隐私训练：通过正交化分析收敛率
How Does Muon Work in Private Deep Learning? Scalable Differentially Private Training via Orthogonalization
AI 导读
DP-Muon 提出 Muon 优化器的差分隐私变体，收敛率为 O(K^{-1/4})，在图像分类中匹配或优于 DP-SGD 和 DP-Adam。 其核心在于将 Muon 的正交化更新视为线性极小化预言机，证明每样本裁剪主要导致梯度正向重标定，方向残差由居中梯度方差控制。
来源：arXiv · ML · arxiv.org