研究扩散模型的结构性记忆机制

扩散模型会在中间噪声水平上逐步过拟合去噪训练目标，形成验证与训练性能之间的泛化差距。研究通过一个完全解析的 2D 玩具模型将这一差距追溯到模型误差与数据分布支撑集密度之间的相互作用，发现最优去噪流场在训练点附近急剧局部化，而模型误差抑制了对训练点的精确回忆，从而产生平滑的泛化流场。

摘自 arXiv cs.LG

还没有足够的连续观测数据，暂不绘制趋势。