arXiv stat.ML· Wei Biao Wu·· 4 小时前AI 评分17
普通非凸 SGD 在距离相关矩条件下的有限时域稳定性与 Nagaev 界
Ordinary Nonconvex SGD under Distance-Dependent Moments: Finite-Horizon Stationarity and Nagaev Bounds
AI 导读
研究证明，在光滑、下有界且可能非凸的目标函数下，仅依赖二阶矩的距离相关条件矩，普通单样本 SGD 即可达到 $T^{-1/3}$ 的期望平均平方梯度稳定性，其显式 oracle 复杂度与已知光滑 Blum-Gladyshev（BG-0）下界一致。
来源：arXiv stat.ML · arxiv.org