研究揭示VLM空间变量绑定双机制

一项新研究提出，视觉语言模型（VLM）通过两种并行机制表示空间变量绑定。作者Kelly Cui等称，语言模型主干中间层会在物体视觉token上编码内容无关的空间关系，但该机制对预测只起次要作用；主导空间信息来自视觉编码器，其表示编码物体布局并被语言模型主干直接利用，且该信号全局分布于视觉token，延伸至背景区域。 研究称，在COCO数据集上全局放大视觉空间表示，可纠正不同规模模型的空间变量绑定失败。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。