研究者提出免训练投影器初始化方法PORTAL
热点事件持续更新
研究者提出免训练投影器初始化方法PORTAL
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
研究者 Fabian Gröger 等人提出一种免训练的投影器初始化方法 PORTAL，用于多模态大语言模型。该方法不需要配对图文数据，也不需要基于梯度的优化，仅使用各模态的汇总统计量，通过最优传输在高斯近似之间建立映射。 这一方法基于两项观察：多模态 LLM 的投影器训练阶段只需 10% 到 20% 的数据即可恢复大部分下游性能；不同数据集训练的投影器可以线性插值而基本保持性能。相关论文发布在 arXiv cs.AI。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
重新思考多模态 LLM 中的投影器训练：PORTAL 免训练初始化报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.AI重新思考多模态 LLM 中的投影器训练：PORTAL 免训练初始化
多模态 LLM 的投影器训练阶段只需 10% 到 20% 的数据即可恢复大部分下游性能，且不同数据集训练的投影器可线性插值而基本保持性能。基于此，研究者提出免训练投影器初始化方法 PORTAL，仅用各模态汇总统计量、无需配对图文数据和梯度优化，通过最优传输在高斯近似间建立映射。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。