跳到正文
arXiv · ML· Jueun Kim, Baekrok Shin, Jihun Yun, Beomhan Baek, Minhak Song, Chulhee Yun·· 4 天前AI 评分30

AMUSE: 基于稳定梯度评估的即时 Muon 优化器

AMUSE: Anytime Muon with Stable Gradient Evaluation

AI 导读

summary_zh: AMUSE 结合 Muon 的批量快速进度与 Schedule-Free 的平均稳定性,无需学习率调度且支持即时训练。 该优化器使用时间变化的插值系数,初期在快速 Muon 序列附近评估梯度,后期转向稳定平均序列以抑制谷壁振荡。

来源:arXiv · ML · arxiv.org