RR-SGD 大步长末次迭代收敛性获证

研究者 Zijun Chen 与 Zihan Zhang 发表论文，证明了标准随机重排随机梯度下降（RR-SGD）在无约束问题上末次迭代的期望目标间隙界。该结果允许使用常数分量步长，上限为 0<η≲1/(L(1+log(nK)))，其中 K 为 epoch 数。 这一结论针对的是机器学习有限和优化中广泛使用的 RR-SGD：此前对其大步长下末次迭代行为的理论保证有限，新证明将可用的步长上限放宽到上述范围。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。