跳到正文
arXiv · ML· Lngel Kyo (A2O Labs)·· 7 小时前AI 评分22

Adam优化器在幂律矩阵感知中自生成 epsilon 下限的证据

A Self-Generated Floor on Adam's $\varepsilon$: Evidence from Power-Law Matrix Sensing

AI 导读

非凸 Burer-Monteiro 低秩矩阵感知中,Adam 优化器的失效边界受自生成动力学下限约束。 实验发现当初始 epsilon 低于 10^-8 时失效边界保持平坦,warm-started L-BFGS 可达机器精度。 拟合参数 epsilon_dyn = 4.76x10^-9 预测 D>=4 时的失效边界,降低学习率 alpha 可直接降低下限。

来源:arXiv · ML · arxiv.org