arXiv cs.AI· Jincheng Zhang, Gy\"orgy Fazekas, Charalampos Saitis·· 8 小时前AI 评分22
扩散模型自表征对齐 U-SRA 用于视频背景音乐生成
Self-Representation Alignment in Diffusion Models for Video Background Music Generation
AI 导读
研究者提出扩散 U-Net 自表征对齐架构 U-SRA，通过在训练中将高噪声条件下较早层的弱表征与低噪声条件下较后层的强表征显式对齐，引导扩散模型学习更好的内部表征。该方法用于视频背景音乐生成，并采用 cross-attention 机制同步音乐与视频片段。在基准视频-音乐数据集上，U-SRA 在视频-音乐对齐和整体音乐质量等关键指标上超越当前最优水平。
来源：arXiv cs.AI · arxiv.org