arXiv · ML· Francesco Caporali, Jason M. Altschuler, Boris Hanin·· 16 小时前AI 评分41
临界阻尼 Polyak 步长规则:一种寻找平坦极小值的新算法方法
A new algorithmic approach for finding flat minima: critically damped Polyak stepsizes
AI 导读
提出临界阻尼 Polyak(CDP)步长规则,通过将经典 Polyak 规则乘以 4 及阻尼因子,使梯度下降偏向更平坦的极小值。 该规则在理论上建立了关于尖锐度和损失减少的一致保证,且 CDP 步长随与极小值流形的距离缩小,允许在有限学习率下收敛。
来源:arXiv · ML · arxiv.org