arXiv cs.AI· Yu Mi, Licheng Pan, Jiayi Zhu, Qirui Liu, Yitong Qiao, Changtong Xu, Tao Wei, Fei Sun, Zhixuan Chu, Kui Ren·· 8 小时前AI 评分22
通过纠正模态误路由缓解全模态 LLM 的跨模态幻觉
Mitigating Cross-Modal Hallucinations by Correcting Modality Misrouting in Omnimodal LLMs
AI 导读
针对全模态大语言模型在音视频干扰下的跨模态幻觉，研究者提出免训练推理时方法 CaRe（Conflict-aware Residual Intervention），通过纯文本模态探针识别模态误路由并计算残差方向，将多模态状态导向相关模态证据。在 CMM 和 AVHBench 两个基准、两种全模态 LLM 上，CaRe 一致优于所评估的推理时幻觉缓解基线。
来源：arXiv cs.AI · arxiv.org