arXiv cs.CV· Dominik Schnaus, Thomas Dag\`es, Daniel Cremers, Xi Wang, Phillip Isola·· 4 小时前AI 评分29
无需配对数据也能实现跨模态对齐：共享几何充当 Rosetta Stone
Shared Geometry As A Rosetta Stone: Cross-Modal Alignment Without Paired Data
AI 导读
研究发现，独立训练的多模态模型无需配对数据即可实现粗略跨模态对齐。提出的 Wasserstein Procrustes 方法通过粗几何初始化估计单一正交映射，在多个数据集、模态和单模态模型上一致对齐独立训练的表示，标准几何对齐指标可准确预测何时可行。在极少配对样本场景下，该方法显著优于现有方法，并能支持无配对数据的文本到图像生成。
来源：arXiv cs.CV · arxiv.org