跳到正文
arXiv · ML· Baiyu Su, Lizhang Chen, Qiang Liu·· 10 天前AI 评分24

AdamW 稳定性分析:不稳定平衡点与非收敛性

A Stability Analysis of AdamW: Unstable Equilibria and Non-Convergence

AI 导读

该研究将 AdamW 视为动力系统,证明其隐式固定点对应一个受限正则化优化问题的驻点,但并非所有固定点均稳定。 稳定性敏感依赖于曲率、权重衰减及动量参数;在一维设定下平衡点可能不稳定,轨迹表现为持续振荡而非收敛。 论文推导了连续时间动力学的局部稳定性充分条件,并提出一种保留 AdamW 固定点的收敛性改进算法。

来源:arXiv · ML · arxiv.org