arXiv cs.CV· Zhiyuan Shi, Xiang Li, Xingzhuo Guo, Shangchen Miao, Weiliang Chen, Qiyu Dai, Jinshan Ren, Jiangran Lyu, Fangfu Liu, Mingsheng Long, Jialong Wu·· 2 小时前AI 评分31
S-Space：多模态语言模型中的空间工作区
S-Space: Exploring Spatial Workspace in Multimodal Language Models
AI 导读
研究者发现多模态语言模型内部存在一个线性表示子空间 S-Space，物体 token 的表示在其中编码水平、垂直和距离三个连续坐标轴。该空间是模型固有的，在非空间问题下仍可读取，感知将物体位置编码其中，内部推理可随视角变化对其进行变换，语言回答则选择性地访问它。研究还将其用作诊断工具，发现 MLLM 能形成空间表示，但在视角变化所需的变换上存在瓶颈。
来源：arXiv cs.CV · arxiv.org