非凸SGD在距离相关矩下获稳定性证明

Wei Biao Wu 发表论文，研究普通单样本随机梯度下降（SGD）在距离相关条件矩下的有限时域平稳性。论文称，在光滑、下有界且可能非凸的目标函数下，仅依赖二阶矩的距离相关条件矩，普通单样本 SGD 即可达到 T^{-1/3} 的期望平均平方梯度稳定性，其显式 oracle 复杂度与已知光滑 Blum-Gladyshev（BG-0）下界一致。 该结果针对的是单样本 SGD 在非凸目标上的平稳性，条件为距离相关的条件矩，结论为期望平均平方梯度的收敛速率。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。