arXiv stat.ML· Stanislas Strasman (SU, LPSM), Sobihan Surendran (SU, LPSM), Sylvain Le Corff (SU, LPSM)·· 4 小时前AI 评分22
随机梯度下降在基于分数的生成模型中的非渐近收敛性分析
Non-asymptotic Convergence of Stochastic Gradient Descent in Score-based Generative Models
AI 导读
研究针对基于分数的生成模型（SGMs）训练中随机梯度下降（SGD）的优化保证问题，对加权去噪分数匹配目标给出了非凸分析，明确了优化界与损失权重和时间采样分布的关系。针对过参数化两层 ReLU 网络，作者发展了适配扩散训练随机梯度的 Neural Tangent Kernel 分析，给出了沿 SGD 轨迹的分数近似误差界，并量化了重加权因子的作用。
来源：arXiv stat.ML · arxiv.org