arXiv cs.AI· Adarsh Jamadandi, Nicolas Keriven·· 1 天前AI 评分26
离散图扩散模型被曝隐性记忆:GDMs 的条件记忆现象
Your Discrete Graph Diffusion Model is Secretly Memorizing
AI 导读
研究发现离散图扩散模型(GDMs)存在此前未被察觉的记忆现象:在双块随机块模型(SBM)上训练后,模型对损坏的训练图几乎能完美还原,而对留出测试图则表现明显更差,作者称之为"条件记忆"。该现象仅在反向扩散轨迹以损坏训练图为条件时出现,伴随训练损失下降、留出图损失上升的泛化差距扩大,且早停无法缓解。记忆的出现总是先于生成图中社区结构的形成,该行为在所有测试节点规模下均成立。
来源:arXiv cs.AI · arxiv.org