arXiv cs.CV· Liao Ma, Jiayi Song, Yunfeng Wu, Songhua Liu, Peilin Zhao·· 5 小时前AI 评分27
BASA：面向快速高分辨率视觉生成的后端无关稀疏注意力
Backend-Agnostic Sparse Attention for Fast High-Resolution Visual Generation
AI 导读
研究者提出 BASA，一种后端无关的稀疏注意力机制，用移位局部窗口注意力替代视觉自注意力，通过跨 DiT 块的结构化窗口移位实现全局信息交换，消除窗口边界造成的网格状伪影。BASA 无需定制算子即可部署在现有注意力后端，在 FLUX 上实测加速超过理论估计的 90%，在 Wan 上实现 4.52 倍注意力加速，并保持有竞争力的生成质量。
来源：arXiv cs.CV · arxiv.org