arXiv · ML· Jie Liu, Nicola Bastianello, Wenying Xu, Daniel W. C. Ho·· 5 小时前AI 评分27
一种结合方差缩减与多次本地更新的去中心化随机优化算法
Variance Reduction for Decentralized Stochastic Optimization with Multiple Local Updates
AI 导读
该算法将方差缩减引入去中心化优化，其步长与网络规模无关，且与本地更新次数成反比，而非立方反比。 这实现了显著更大的步长和更快的收敛，并在强凸设定下首次建立了随机梯度下线性收敛的期望保证。 此外，该方法每轮仅交换一个变量，使通信成本相比梯度追踪方法减半。
来源：arXiv · ML · arxiv.org