跳到正文
热点事件持续更新

研究提出S-Space多模态空间推理表示

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Zhiyuan Shi 等作者发表论文,提出多模态语言模型内部存在一个线性表示子空间 S-Space:物体 token 的表示在其中编码水平、垂直和距离三个连续坐标轴。 论文称,该空间是模型固有的,在非空间问题下仍可读取;感知将物体位置编码其中,内部推理可随视角变化对其进行变换,语言回答则选择性地访问它。研究还将其用作诊断工具,发现多模态语言模型能形成空间表示,但在视角变化所需的变换上存在瓶颈。

AI 根据报道生成 · 56 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv cs.CV
    S-Space:多模态语言模型中的空间工作区

    研究者发现多模态语言模型内部存在一个线性表示子空间 S-Space,物体 token 的表示在其中编码水平、垂直和距离三个连续坐标轴。该空间是模型固有的,在非空间问题下仍可读取,感知将物体位置编码其中,内部推理可随视角变化对其进行变换,语言回答则选择性地访问它。研究还将其用作诊断工具,发现 MLLM 能形成空间表示,但在视角变化所需的变换上存在瓶颈。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。