跳到正文
arXiv cs.CV· Chen Xu, Yunqi Li, Binbin Huang, Brent Yi, Shenghua Gao, Yi Ma·· 4 小时前AI 评分13

JoHan:视频条件生成式联合 2D-3D 手部运动恢复

Video-Conditioned Generative Joint 2D-3D Hand Motion Recovery

AI 导读

研究者提出 JoHan,一个从视频序列直接恢复手部运动的统一生成框架,无需依赖逐帧姿态预测作为中间步骤。该模型从零训练,联合生成对齐的 2D 与 3D 局部手部姿态序列,学习其时间动态与跨表示对应关系,并据此恢复手部相对相机的全局位置与朝向。在多个挑战性基准上,JoHan 在局部手部姿态与相机空间重建的精度和速度上均有显著提升,运动轨迹比此前方法更平滑,同时保持较高的逐帧姿态精度。

来源:arXiv cs.CV · arxiv.org