arXiv · ML· Aukosh Jagannath, Varnan Sarangian·· 3 天前AI 评分20
SGD 自适应变体的高维极限定理 I:弹道极限
High-dimensional limit theorems for adaptive variants of SGD I: Ballistic limits
AI 导读
研究者发展了自适应动量 SGD 的高维有效动力学,证明该过程为 Markov 过程。 利用平均法处理指数移动平均和前条件化带来的非 Markov 特性,适用于 ADAM、MUON 等算法及多种学习任务。 揭示了 ADAM 早期泛化劣于在线 SGD 的交叉现象,并证明了稳定边缘现象。
来源:arXiv · ML · arxiv.org