研究者提出两阶段多模态动态视听导航框架

Jia Li 与 Yinfeng Yu 提出一套两阶段多模态学习框架，用于动态音视觉导航（D-AVN）任务。 该框架分两个阶段：物理对齐阶段使用 Intensity-Calibrated Geometry Encoder（ICGE），将声音强度与视觉几何做物理对齐；场景聚合阶段使用基于 Transformer 的 Cross-Modal Scene Aggregator（CMSA）融合多模态特征。 上述内容来自研究者自述，报道未给出该框架在导航任务上的实测效果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。