arXiv cs.CV· Hao Zhang, Xuhui Zuo, Jiayi Ma·· 2 小时前AI 评分13
W2F:视觉-语义协同的多模态图像融合方法
Win-Win Fusion: Multi-Modal Image Fusion with Visual-Semantic Collaboration
AI 导读
研究者提出 W2F,一种面向多模态图像融合(MMIF)的视觉-语义互增强范式,通过分割引导融合损失和嵌入信息恢复先验强化特征互补,并引入交互门控混合注意力(IGM-Att)与渐进耦合注意力(PC-Att)实现多模态信息交互。该方法还通过特征搜索模块与梯度校正策略耦合视觉融合和语义融合,实验显示其在视觉观感与决策精度上均超越现有 SOTA 方法,代码已公开。
来源:arXiv cs.CV · arxiv.org