双层线性网络训练获全局指数收敛证明

Stephen Y Zhang 与 Gabriel Peyré 发表论文，证明宽双层线性网络在丰富缩放（rich scaling）下、使用光滑 PL 损失训练时具有显式速率的全局指数收敛。当初始协方差为 Σ₀ = σ²Id 时，损失以至少 4σ²κ 的线性速率收敛至全局最小值，κ 为 PL 常数。 作者称该速率在有限宽度采样下保持稳定，并扩展至深层线性 ResNet 及 heavy-ball 动量情形。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。