跳到正文
arXiv cs.CL· Long-Vu Hoang, Naomi Harte·· 3 小时前AI 评分22

鸡尾酒会场景下的音视频轮次转换预测研究

Audio-Visual Turn-taking Prediction in Cocktail Party Scenarios

AI 导读

研究评估了在干净数据上训练的音视频轮次转换预测模型(PTTMs)在 AVCocktail 数据集构建的鸡尾酒会测试平台上的表现,发现噪声条件下音频和视觉模态性能一致下降,加权 F1 最多相对下降 38%。在新领域微调可提升鲁棒性,但增益因模态而异,并取决于可用预训练数据规模。所有代码和轮次标注已公开。

来源:arXiv cs.CL · arxiv.org