重新思考多模态 LLM 中的投影器训练：PORTAL 免训练初始化

多模态 LLM 的投影器训练阶段只需 10% 到 20% 的数据即可恢复大部分下游性能，且不同数据集训练的投影器可线性插值而基本保持性能。基于此，研究者提出免训练投影器初始化方法 PORTAL，仅用各模态汇总统计量、无需配对图文数据和梯度优化，通过最优传输在高斯近似间建立映射。