arXiv cs.CV· Binglei Li, Mengping Yang, Zhiyu Tan, Wenxu Qian, Junping Zhang, Hao Li·· 2 小时前AI 评分22
扩散与自回归文本生成图像 Transformer 中的注意力汇研究
Exploring Attention Sinks in Text-to-Image Transformers from Diffusion and Autoregressive Models
AI 导读
研究系统分析了双向扩散模型与因果自回归模型中的注意力汇现象，发现两类架构均存在注意力汇但模式不同：自回归模型集中于首个及全局 token，双向模型则出现在模态边界、文本区域和空间角落，且随生成阶段变化并局限于稀疏的层和注意力头。
来源：arXiv cs.CV · arxiv.org