arXiv cs.CV· Jung Min Lee, Taehyun Cho, Li Zhao, Jungwoo Lee·· 2 小时前AI 评分22
潜动作模型为何失效,以及如何防止
Why Latent Actions Fail, and How to Prevent It
AI 导读
潜动作模型(LAMs)从无标注视频中压缩帧间变化来学习类动作表征,但野外视频中的背景杂乱等外生状态会引入与动作无关的变化,干扰学习。该研究通过扩展线性 LAM 框架显式建模外生状态,发现标准重建目标会让潜动作编码未来观测中的外生信息,而聚焦内生组分的表征空间学习可缓解噪声干扰。研究还证明动作监督等辅助目标能让潜动作在不同外生状态下保持一致,并在线性与非线性 LAM 上验证了这些结论。
来源:arXiv cs.CV · arxiv.org