arXiv stat.ML· Matias D. Cattaneo, Boris Shigida·· 4 小时前AI 评分13
动量梯度下降的修正损失:细粒度分析
Modified Loss of Momentum Gradient Descent: Fine-Grained Analysis
AI 导读
研究证明,当步长 h 足够小时,Polyak 重球动量(HB)梯度下降在指数吸引不变流形上等价于使用修正损失的普通梯度下降。该修正损失虽无闭式表达,但可描述至任意有限阶 O(h^R) 误差,并给出全局轨迹逼近界。分析还揭示了隐藏在无记忆近似中的一族 β 多项式,其系数介于 Eulerian 与 Narayana 多项式之间,并证明它们是特定图-关联多面体的 h-多项式。
来源:arXiv stat.ML · arxiv.org