条件流匹配实现视觉引导音频高亮

研究者将视觉引导的音频高亮任务重构为生成问题，提出条件流匹配（CFM）框架，以替代此前难以处理音频重混歧义的判别式模型。 该方法引入 rollout loss 惩罚最终步的轨迹漂移，并用一个在向量场回归前融合音视频线索的条件模块实现跨模态声源选择。研究者称，定量与定性评估显示该方法持续超越此前的 SOTA 判别式方法。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。