arXiv · ML· Hyunseok Lee, Mihir Basil, Yizhou Liu, Jeff Gore·· 17 小时前AI 评分32
优化器相关的训练动力学收敛至同一三分之一的最优数据扩展
Optimizer-dependent training dynamics converge to the same one-third optimal data scaling
AI 导读
在在线教师-学生模型中,损失分解为径向范数增长和切向对齐,二者以幂律衰减。 虽然SGD和Adam的动态指数不同(Adam下α_r≈0.48, α_t≈0.08),但最优损失在7种优化器下均收敛至D^(-1/3),且满足2α_r + α_t = 1的关系。
来源:arXiv · ML · arxiv.org