跳到正文
arXiv cs.AI· Adarsh Jamadandi, Nicolas Keriven·· 1 天前AI 评分26

离散图扩散模型被曝隐性记忆:GDMs 的条件记忆现象

Your Discrete Graph Diffusion Model is Secretly Memorizing

AI 导读

研究发现离散图扩散模型(GDMs)存在此前未被察觉的记忆现象:在双块随机块模型(SBM)上训练后,模型对损坏的训练图几乎能完美还原,而对留出测试图则表现明显更差,作者称之为"条件记忆"。该现象仅在反向扩散轨迹以损坏训练图为条件时出现,伴随训练损失下降、留出图损失上升的泛化差距扩大,且早停无法缓解。记忆的出现总是先于生成图中社区结构的形成,该行为在所有测试节点规模下均成立。

来源:arXiv cs.AI · arxiv.org