用蒸馏最优传输从少量配对数据实现表示对齐

一种新方法仅需 N~100–500 对配对样本即可对齐两个独立预训练的单模态编码器，其做法是用与 N 个配对锚点的相似度表示每个表征，并通过一个熵最优传输问题匹配两个点云，再蒸馏为两个轻量编码器。该方法在 Flickr30k、MS-COCO 和 ChEBI-20 上于相同锚点预算下优于现有方法，且配对仅需用于锚点，非配对数据可分别从两个边缘分布独立采样。