跳到正文
arXiv cs.AI· Jinghao Xu, Zhenhua Guo, Xiaofeng Zhu, Xiaoshuang Shi·· 11 小时前AI 评分12

ACML:面向多模态学习的动态对齐与校准框架

Dynamic Alignment and Calibration for Multimodal Learning

AI 导读

针对静态跨模态对齐易导致过度对齐、置信度融合忽视特征量级差异的问题,研究者提出对齐与校准驱动的多模态学习框架 ACML。该框架包含动态跨模态三元组对齐模块和差异感知注意力校准策略,前者按置信度差距对正样本对施加差异化约束,后者依据特征量级与置信度差异自适应调整注意力正则。在多个多模态基准数据集上,ACML 的性能与鲁棒性持续优于近期 SOTA 方法。

来源:arXiv cs.AI · arxiv.org