DeVI：通过合成视频模仿实现基于物理的灵巧人-物交互

DeVI 是一个通过模仿文本条件合成视频来学习基于物理的灵巧人-物交互（HOI）控制的框架。它提出混合模仿目标，将重建的 3D 人体运动与跟踪的 2D 物体轨迹结合，绕过 3D 物体运动的显式重建，并通过 Visual HOI Alignment 优化人体参考以对齐生成视频和初始 3D 物体配置。实验表明该混合表示优于基线方法，且无需运动捕捉演示即可实现目标感知交互和铰接物体操作。