跳到正文
arXiv cs.CV· Qiji Zhou, Junyi Hu, Peiyu Wang, Yue Zhang·· 2 小时前AI 评分22

多模态 LLM 视觉干预的证据锚定边界(EAB):视觉干预何时有效、何时有害

The Evidence Anchoring Boundary: Where Visual Interventions Matter and When They Help in Multimodal LLMs

AI 导读

研究提出多模态大语言模型视觉干预的"证据锚定边界(EAB)",即干预效果随解码层加深而持续衰减的操作起点。在三个模型家族六个 checkpoint 上,EAB 之前的留出干预效果比之后大 13.78×–26.10×。基于此提出的校准选择性路由在三个 checkpoint 上将全属性准确率提升 1.56–1.81 个百分点,而通用减法中性甚至有害。

来源:arXiv cs.CV · arxiv.org