arXiv · ML· Guneykan Ozgul, Dylan Herman, Junhyung Lyle Kim, Shree Hari Sureshbabu, Shouvanik Chakrabarti·· 10 天前AI 评分30
学习率衰减可使非凸函数全局优化中 SGD 梯度查询次数指数级减少
Learning Rate Decay Can Exponentially Accelerate SGD for Global Optimization of Nonconvex Functions
AI 导读
针对非凸函数全局优化,学习率衰减下的 SGD 在小步长区域所需的梯度查询次数比固定学习率少指数倍。 这是目前已知学习率衰减带来的首个指数级优势,该函数类别包含许多常用基准非凸函数。 基于弱 Poincaré 不等式的创新应用,证明了退火(annealing)能以多项式时间完成相关的非对数凹采样任务。
来源:arXiv · ML · arxiv.org