arXiv stat.ML· Zijun Chen, Zihan Zhang·2026-10-15 12:00· 3 小时前AI 评分13

RR-SGD 大步长最终迭代收敛性获证：步长上限放宽至 1/(L(1+log(nK)))

Large-Step Last-Iterate Convergence of Random-Reshuffling Stochastic Gradient Descent

AI 导读

针对机器学习有限和优化中广泛使用的随机重排随机梯度下降（RR-SGD），研究者证明了标准 RR-SGD 在无约束问题上最终迭代的期望目标间隙界，其常数分量步长满足 0<η≲1/(L(1+log(nK)))，K 为 epoch 数。

来源：arXiv stat.ML · arxiv.org