并行适配器组合实现实时音视频生成

研究提出一种并行适配器组合方法，用于实时联合音视频生成。Jingyu Li、Xiaoxiao Xiang、Yiwen Guo 发表的论文称，该方法在冻结的音视频骨干上分别训练因果适配器和现成少步适配器，两者权重更新方向近似正交，推理时直接相加即可，无需链式蒸馏。 论文称，该流式系统在 480×832 分辨率下无需量化达到约 26 fps，可连续生成 30 秒且画质稳定，多数指标匹配或超过链式基线。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。