arXiv cs.LG· Tim Kaiser, Markus Kollmann·· 3 小时前AI 评分27
扩散模型的结构性记忆:超越样本复制
Beyond Sample Copying: Structural Memorization in Diffusion Models
AI 导读
扩散模型会在中间噪声水平上逐步过拟合去噪训练目标,形成验证与训练性能之间的泛化差距。研究通过一个完全解析的 2D 玩具模型将这一差距追溯到模型误差与数据分布支撑集密度之间的相互作用,发现最优去噪流场在训练点附近急剧局部化,而模型误差抑制了对训练点的精确回忆,从而产生平滑的泛化流场。
来源:arXiv cs.LG · arxiv.org