新方法Geodesic Unlearning提升缺失模态鲁棒性

多模态模型在推理时缺失某一模态，表现可能反而不如单模态模型。Songyuan Sui等作者提出Geodesic Unlearning（GU），一种轻量级参数编辑方法，利用Grassmannian子空间几何做结构化子空间校正，以提升缺失模态鲁棒性。 作者称，这一失败模式出现在融合模型、CLIP式双塔模型和视觉语言模型中，与主参数子空间学到的跨模态依赖有关。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。