arXiv论文分析动量梯度下降的修正损失

arXiv 发布一篇关于动量梯度下降的论文，研究 Polyak 重球动量（HB）梯度下降与普通梯度下降的关系。论文证明，当步长 h 足够小时，HB 在指数吸引不变流形上等价于使用一种修正损失的普通梯度下降。 该修正损失没有闭式表达，但论文称可将其描述到任意有限阶 O(h^R) 误差，并给出全局轨迹逼近界。分析还发现无记忆近似中隐藏的一族 β 多项式，其系数介于 Eulerian 与 Narayana 多项式之间，论文证明它们是特定图-关联多面体的 h-多项式。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。