arXiv cs.AI· Dengjia Zhang, Alexander Martin, Pengyu Yan, Xihan Sun, Jiaqi Li, Benjamin Van Durme, Andrew Yates, Reno Kriz, William Walden·· 8 小时前AI 评分28
视觉语言模型中的注意力汇是借来的，而非看到的
Attention Sinks in VLMs Are Borrowed, Not Seen
AI 导读
研究对比六种检测器在四个家族十个 VLM 上的表现，发现只有图像 token 的 key 与语言模型文本汇 key 的中心化余弦相似度能检测视觉注意力汇，即视觉汇是 key 与文本汇 key 对齐的图像 token。
来源：arXiv cs.AI · arxiv.org