arXiv cs.AI· Seulgi Kim, Zhixiong Zhang, Xinwei Zhang, Jie Ling, Ronn Shaw·· 5 小时前AI 评分29
GeoPID：分解与引导视觉语言模型中的视觉信息
GeoPID: Decomposing and Steering Visual Information in Vision-Language Models
AI 导读
研究者提出免训练框架 GeoPID，从几何视角将 VLM 中的多模态信息分解为冗余、模态独有和协同三类成分。在 22 个 VLM 和 14 个 benchmark 上的分析显示，需要视觉 grounding 的问题中正确预测具有更强的视觉独有成分。基于此，GeoPID 在推理时沿视觉独有子空间选择性放大视觉表征，无需更新模型参数即平均提升 7.63% 相对准确率。
来源：arXiv cs.AI · arxiv.org