arXiv cs.LG· Gwangho Kim, Sungyoon Lee·· 3 小时前AI 评分22
条件扩散模型的记忆与恶性泛化：随机特征理论分析
Memorization and Malign Generalization in Conditional Diffusion Models with Random Features
AI 导读
研究在高维比例极限下分析随机特征条件 score 模型，推导出训练与测试损失的渐近表达式。测试损失分解显示，过参数化区间中增大模型宽度会改善条件均值预测、却降低条件内预测方差，作者称之为"恶性泛化"；训练损失分析则表明信息量更大的条件会在更小宽度下导致训练样本被记忆。结论在真实数据上的 U-Net 实验中得到验证。
来源：arXiv cs.LG · arxiv.org