跳到正文
arXiv · ML· Zijun Chen, Zihan Zhang·· 2026-10-15AI 评分20

RR-SGD 随机重洗 stochastic gradient descent 的大步长最后迭代收敛性

Large-Step Last-Iterate Convergence of Random-Reshuffling Stochastic Gradient Descent

AI 导读

研究者建立了标准 RR-SGD 在常数分量步长 $0<\eta\lesssim 1/(L(1 + \log(nK)))$ 下最后迭代的期望目标差界。 该结果去除了步长限制中显式的 $1/n$ 因子,与平均迭代的收敛速率在对数因子内一致。

来源:arXiv · ML · arxiv.org