新框架量化VLM与人类场景理解差距

研究者提出反事实语义显著性（CSS）框架，以黑盒、模型无关的方式量化场景中物体的重要性：通过因果消融物体、测量由此产生的语义偏移来判断各物体对场景理解的影响。 基于307个复杂自然场景、1,306个高保真反事实变体和16,603份人类有效回答的对比显示，视觉语言模型（VLM）比人类更依赖大物体、图像中心物体和高显著性物体，对场景中人物的依赖则少于人类。研究称，模型的尺寸偏差是解释人机语义分歧的主要因素。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。