跳到正文
arXiv · ML· Yaxin Yu, Long Chen, Minfu Feng·· 10 天前AI 评分21

VR-Adam-SHANG:一种带 Adam 式预条件的方差缩减随机 Hessian 驱动 Nesterov 加速方法

Variance-Reduced Stochastic Hessian-Driven Nesterov Acceleration with Adam-Style Preconditioning

AI 导读

VR-Adam-SHANG 通过结合 STORM 递归估计、Adam 预条件及 SHANG 加速插值,在光滑随机凸优化中每轮至多使用两次随机梯度评估,避免全梯度刷新。

来源:arXiv · ML · arxiv.org