视听轮次预测模型在鸡尾酒会场景性能下降

一项研究评估了在干净数据上训练的音视频轮次转换预测模型（PTTMs）在鸡尾酒会噪声场景下的表现。测试平台基于 AVCocktail 数据集构建，结果显示噪声条件下音频和视觉模态性能一致下降，加权 F1 最多相对下降 38%。 研究还分析了模型对新领域的适应行为：在新领域微调可提升鲁棒性，但增益因模态而异，并取决于可用预训练数据的规模。所有代码和轮次标注已公开。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。