ITO：训练时融合的图像-文本预训练框架

Hanpeng Liu 等作者发布 ITO 图像-文本预训练框架，通过多模态多重对齐与训练时多模态融合两个机制改进图像-文本对比预训练。其融合模块仅在训练时作为正则化器使用，推理时丢弃，从而保持双编码器效率。 在 100M–1B 图像-文本对规模下，ITO 在相同数据、骨干和算力下较 CLIP 在分类、检索和多模态基准上取得一致提升；作者称增益并非来自额外训练算力或图像增强。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。