arXiv · ML· Zijun Chen, Zihan Zhang·· 2026-10-15AI 评分20
RR-SGD 随机重洗 stochastic gradient descent 的大步长最后迭代收敛性
Large-Step Last-Iterate Convergence of Random-Reshuffling Stochastic Gradient Descent
AI 导读
研究者建立了标准 RR-SGD 在常数分量步长 $0<\eta\lesssim 1/(L(1 + \log(nK)))$ 下最后迭代的期望目标差界。 该结果去除了步长限制中显式的 $1/n$ 因子,与平均迭代的收敛速率在对数因子内一致。
来源:arXiv · ML · arxiv.org