损失曲率可作为扩散模型记忆化的无采样代理指标

研究发现，扩散模型训练损失的 Hessian 矩阵 Frobenius 范数（即输入损失曲率）可量化模型层面的记忆化起始点：在训练与验证样本上平均的输入曲率随训练时间变化，能识别模型何时开始复述训练数据。但该指标不足以衡量单个样本被记忆的概率，作者为此提出扩散模型的反事实记忆化定义，并证明其由留一模型的输入曲率控制，从理论上建立了样本局部损失景观与生成可能性之间的直接联系。