跳到正文
热点事件持续更新

SGD在分数生成模型中的非渐近收敛分析

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Stanislas Strasman 等作者发表论文,对基于分数的生成模型(SGMs)训练中随机梯度下降(SGD)的优化保证给出非凸分析,明确了优化界与损失权重、时间采样分布之间的关系。 针对过参数化两层 ReLU 网络,作者发展了适配扩散训练随机梯度的 Neural Tangent Kernel 分析,给出沿 SGD 轨迹的分数近似误差界,并量化了重加权因子的作用。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月8日
  1. arXiv stat.ML
    随机梯度下降在基于分数的生成模型中的非渐近收敛性分析

    研究针对基于分数的生成模型(SGMs)训练中随机梯度下降(SGD)的优化保证问题,对加权去噪分数匹配目标给出了非凸分析,明确了优化界与损失权重和时间采样分布的关系。针对过参数化两层 ReLU 网络,作者发展了适配扩散训练随机梯度的 Neural Tangent Kernel 分析,给出了沿 SGD 轨迹的分数近似误差界,并量化了重加权因子的作用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。