跳到正文
arXiv stat.ML· Arnaud Descours (UCBL), Geoffrey Lacour (MaIAGE)·· 4 小时前AI 评分12

平均场神经网络训练中非线性可观测量的涨落研究

Fluctuations of Nonlinear Observables in Mean Field Neural Network Training

AI 导读

该研究证明,平均场极限下宽神经网络参数分布的涨落可传播至浅层网络经随机梯度下降训练后的有限维非线性可观测量,并在加权 Sobolev 空间中用泛函 Delta 方法导出中心极限定理及显式协方差公式。在常数秩假设下,研究还给出可观测量局部因子化的充要条件:观测泛函微分的核包含于目标量微分的核。

来源:arXiv stat.ML · arxiv.org