arXiv cs.AI· Jiayi Wu, Haoming Cai, Cornelia Fermuller, Christopher Metzler, Yiannis Aloimonos·· 9 小时前AI 评分24
Real2SAM2Real：用生成式 3D 缓存为视频扩散模型提供互补上下文
Real2SAM2Real: Generative 3D Caches as Complementary Context for Video Diffusion
AI 导读
Real2SAM2Real 通过生成式 3D 提升从单张参考图估计拓扑完整的物体与人体网格，渲染法线图引导视频扩散模型合成，实现相机与多实例运动的解耦控制。该方法在约 2,000 段单目视频片段上训练，无需显式 3D 资产或多轨迹配对录制，在剧烈视角变化等场景下时空一致性与控制精度优于所评估的 SOTA 方法。
来源：arXiv cs.AI · arxiv.org