研究：视觉注意力汇是借来的而非看到的

一项发表于 arXiv 的研究提出，视觉语言模型（VLM）中的视觉注意力汇并非模型真正“看到”图像内容，而是图像 token 借用了语言模型文本注意力汇的 key。 研究对比了六种检测器在四个家族共十个 VLM 上的表现，发现只有一种方法能有效检测视觉注意力汇：计算图像 token 的 key 与语言模型文本汇 key 的中心化余弦相似度。据此，作者将视觉注意力汇定义为 key 与文本汇 key 对齐的图像 token。 该结论来自 Dengjia Zhang 等作者的论文，其摘要称研究视觉注意力汇的检测与缓解方法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。