arXiv cs.CV· Hanpeng Liu, Yaqian Li, Zidan Wang, Shuoxi Zhang, Zonglin Zhao, Zihao Bo, Rinyoichi Takezoe, Kaiwen Long, Kun He·· 2 小时前AI 评分24
ITO：面向图像-文本预训练的多视图对齐与训练时融合框架
ITO: Multi-View Alignment and Training-Time Fusion for Image-Text Pretraining
AI 导读
ITO 通过多模态多重对齐与训练时多模态融合两个机制改进图像-文本对比预训练，融合模块仅在训练时作为正则化器使用、推理时丢弃，保持双编码器效率。在 100M–1B 图像-文本对规模下，ITO 在相同数据、骨干和算力下较 CLIP 在分类、检索和多模态基准上取得一致提升，且增益并非来自额外训练算力或图像增强。
来源：arXiv cs.CV · arxiv.org