arXiv · ML· Baiyu Su, Lizhang Chen, Qiang Liu·· 10 天前AI 评分24
AdamW 稳定性分析:不稳定平衡点与非收敛性
A Stability Analysis of AdamW: Unstable Equilibria and Non-Convergence
AI 导读
该研究将 AdamW 视为动力系统,证明其隐式固定点对应一个受限正则化优化问题的驻点,但并非所有固定点均稳定。 稳定性敏感依赖于曲率、权重衰减及动量参数;在一维设定下平衡点可能不稳定,轨迹表现为持续振荡而非收敛。 论文推导了连续时间动力学的局部稳定性充分条件,并提出一种保留 AdamW 固定点的收敛性改进算法。
来源:arXiv · ML · arxiv.org