arXiv stat.ML· Joseph Keslin, Wei Biao Wu·· 5 小时前AI 评分13
恒定学习率 SGD 的强高斯近似：偏差与轨迹推断
Strong Gaussian Approximation of Constant Learning Rate SGD: Bias and Trajectory Inference
AI 导读
该论文为恒定学习率 SGD 构建了 KMT 型强高斯近似，在重尾噪声下假设迭代次数增长与学习率收缩同步进行。当学习率按 γ_n=c/√n+o(n^{-1/2}) 缩放时，结果揭示了控制 SGD 偏差与初始化效应之间的权衡，且不存在使两者在累积误差极限中同时消失的学习率缩放方案。
来源：arXiv stat.ML · arxiv.org