跳到正文
arXiv · ML· Kun Huang, Shi Pu, Karl Henrik Johansson·· 4 天前AI 评分22

Muon 在 Shuffling 下达成 $O(\varepsilon^{-3})$ 迭代复杂度

Muon Attains $\mathcal{O}(\varepsilon^{-3})$ Iteration Complexity under Shuffling

AI 导读

针对平滑非凸有限和问题的 Muon 优化器,在 shuffling 策略下证明了达成 $O(\varepsilon^{-3})$ 的迭代复杂度,以找到 $\varepsilon$-驻点。

来源:arXiv · ML · arxiv.org