arXiv · ML· Haichen Hu, David Simchi-Levi·· 3 小时前AI 评分28
优化预条件器：基于静态遗憾最小化 Oracle 的黑盒在线转非凸优化方法
Optimizing the Preconditioner: A Black-box Online-to-Nonconvex Conversion with Static Regret Minimization Oracles
AI 导读
提出将随机非凸优化转化为静态遗憾最小化的黑盒缩减方法，解决了 Chen 和 Hazan 提出的开放问题。 该缩减保持可预测的梯度跟踪器，并证明了 $O(\sqrt{T})$ 遗憾的 OCO Oracle 能恢复经典的 $O(T^{-1/2})$ 收敛率。 数值实验展示了该缩减如何利用在线选择的预条件器，同时使用与随机梯度下降相同的随机 Oracle 预算。
来源：arXiv · ML · arxiv.org