arXiv · ML· Alberto Fern\'andez-Hern\'andez, Cristian P\'erez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ort\'i·· 2026-10-07AI 评分27
基于早期记忆选择平衡 Adam 优化器参数的方法
Early Memory Selection for Balanced Adam
AI 导读
该研究提出一种基于短初步训练的共享 Adam 参数 $\beta$ 选择方法,通过 200 步初步训练和 16 个梯度探测点生成优化系数。 该方法在 11 项视觉与语言任务上的回溯评估中,相较于固定 $\beta=0.95$,平均相对验证差距降低 40.7%,最差四分之一任务差距降低 44.3%。 其平均差距也优于在全部 11 项任务中选出的最优固定 $\beta$ 32.3%。
来源:arXiv · ML · arxiv.org