arXiv cs.CV· Zhixin Cai, Ruoqi Yuan, Xinchen Yang, Zhuofan Chen, Jun Bai, Chuantao Yin, Wenge Rong·· 5 小时前AI 评分22
ARP-CD:用注意力引导表征扰动缓解 Video LLM 幻觉
Mitigating Video Hallucinations via Attention-Guided Representation Perturbation
AI 导读
研究者提出 ARP-CD,一种无需训练的对比解码框架,直接在表征空间构造对比负样本:利用答案预测位置分配给视觉 token 的注意力质量,引导语言模型输入视觉隐状态做有界梯度更新,降低视觉注意力并生成负样本,与原始分支的预测在生成全程对比。在四个 Video LLM 和四个 benchmark 上,ARP-CD 在多数模型—基准组合中优于代表性免训练基线,在减少幻觉的同时提升通用视频理解能力。
来源:arXiv cs.CV · arxiv.org