arXiv cs.CV· Jingyu Li, Xiaoxiao Xiang, Yiwen Guo·· 4 小时前AI 评分29
并行适配器组合实现实时音视频联合生成
Real-Time Joint Audio-Video Generation by Parallel Adapter Composition
AI 导读
研究提出用并行适配器组合替代链式蒸馏,在冻结的音视频骨干上分别训练因果适配器和现成少步适配器,两者权重更新方向近似正交,推理时直接相加即可。该流式系统在 480×832 分辨率下无需量化达到约 26 fps,可连续生成 30 秒且画质稳定,多数指标匹配或超过链式基线。
来源:arXiv cs.CV · arxiv.org