研究提出扩散模型记忆的损失曲率指标

一项新研究提出，扩散模型训练损失的 Hessian 矩阵 Frobenius 范数（即输入损失曲率）可作为量化模型记忆化的无采样代理指标。作者称，在训练与验证样本上平均的输入曲率随训练时间变化，能识别模型何时开始复述训练数据。 但该指标不足以衡量单个样本被记忆的概率。为此作者提出扩散模型的反事实记忆化定义，并证明其由留一模型的输入曲率控制，从理论上建立了样本局部损失景观与生成可能性之间的联系。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。