跳到正文
arXiv cs.CV· Kansuke Habano·· 2 小时前AI 评分22

自我中心视频嵌入编码了什么:如何与惯性传感器结合进行人类活动识别

What Egocentric Video Embeddings Encode and How to Combine Them with Inertial Sensors for Human Activity Recognition

AI 导读

研究发现 VideoMAEv2、CLIP、DINOv2 和 VC-1 的嵌入主方向由摄像头朝向主导,头部朝向在 Ego-Exo4D 上可解释自我中心视频嵌入(R² 0.49-0.70),场景布局则在 WEAR 上起解释作用。

来源:arXiv cs.CV · arxiv.org