arXiv · ML· Yaxin Yu, Long Chen, Minfu Feng·· 10 天前AI 评分21
VR-Adam-SHANG:一种带 Adam 式预条件的方差缩减随机 Hessian 驱动 Nesterov 加速方法
Variance-Reduced Stochastic Hessian-Driven Nesterov Acceleration with Adam-Style Preconditioning
AI 导读
VR-Adam-SHANG 通过结合 STORM 递归估计、Adam 预条件及 SHANG 加速插值,在光滑随机凸优化中每轮至多使用两次随机梯度评估,避免全梯度刷新。
来源:arXiv · ML · arxiv.org