双层线性网络训练的全局指数收敛性研究

研究证明宽双层线性网络在丰富缩放（rich scaling）下使用光滑 PL 损失训练时具有显式速率的全局指数收敛。当初始协方差为 Σ₀ = σ²Id 时，损失以至少 4σ²κ 的线性速率收敛至全局最小值，κ 为 PL 常数。该速率在有限宽度采样下保持稳定，并扩展至深层线性 ResNet 及 heavy-ball 动量情形。