研究者提出IVE解码方法缓解多模态模型关系幻觉

Boyang Gong等作者提出一种名为Inertia-aware Visual Excitation（IVE）的多模态大模型解码方法，通过token级注意力历史动态重新校准视觉值，以缓解关系幻觉。 作者称，多模态大模型在关系描述中常因“视觉惯性”——注意力停留在先前主导区域——而产生关系幻觉，且关系预测性能会随上一步视觉注意力被带入当前解码步骤而持续下降。IVE即针对这一问题设计。 该研究发布在arXiv cs.CV，为预印本，尚未见同行评审或实际应用效果的验证。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。