研究：文本优先索引提升多模态同步稳健性

1. 12:00
   arXiv cs.CV

   多模态同步机制研究：基于解码器的视频-文本-语音合成洞察

   研究以 Visatronic（基于 VoxCeleb2 训练的统一 decoder-only Transformer）为对象，在视频-文本-语音合成任务中考察序列设计对跨模态同步的影响。文本优先的共时索引在域偏移下迁移最稳健，且无需显式时间戳元数据；文本提升可懂度，视频提供时间线索与情感表达。研究同时提出音素级同步指标 TimeSync，可揭示帧级指标忽略的时间错位。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。