arXiv cs.LG· Yiping Ji, James Martens, Simon Lucey·· 5 小时前AI 评分22
DDT-RFE:移除扩散 Transformer 编码器残差连接能否提升性能?
Should We Skip Diffusion?
AI 导读
研究提出 DDT-RFE,移除 Decoupled Diffusion Transformer(DDT)编码器每个 block 中 Self-Attention 和 MLP 周围的残差连接,并将输入 patch embedding 与中间及最终编码器特征融合作为编码器输出,以在保持训练稳定的同时学习更抽象的表征。
来源:arXiv cs.LG · arxiv.org