arXiv cs.CV· Akshita Gupta, Tatiana Likhomanenko, Karren Dai Yang, Richard He Bai, Zakaria Aldeneh, Navdeep Jaitly·· 1 天前AI 评分24
多模态同步机制研究：基于解码器的视频-文本-语音合成洞察
Mechanisms of Multimodal Synchronization: Insights from Decoder-Based Video-Text-to-Speech Synthesis
AI 导读
研究以 Visatronic（基于 VoxCeleb2 训练的统一 decoder-only Transformer）为对象，在视频-文本-语音合成任务中考察序列设计对跨模态同步的影响。文本优先的共时索引在域偏移下迁移最稳健，且无需显式时间戳元数据；文本提升可懂度，视频提供时间线索与情感表达。研究同时提出音素级同步指标 TimeSync，可揭示帧级指标忽略的时间错位。
来源：arXiv cs.CV · arxiv.org