跳到正文
arXiv cs.CV· Parsa Esmati, Somjit Nath, Katja Hofmann, Derek Nowrouzezahrai, Samira Ebrahimi Kahou, Majid Mirmehdi·· 6 小时前AI 评分37

视频扩散模型内部编码物理合理性:从扩散 Transformer 状态中线性解码,平均准确率约 81.27%

The Invisible Hand of Physics: When Video Diffusion Models Know More Than They Show

AI 导读

研究通过反向积分学习到的速度场近似反转确定性采样过程,从干净视频 latent 回溯到噪声,从而获取视频扩散模型的中间状态与注意力图。在 IntPhys 和 InfLevel 上,物理合理性可从扩散 Transformer 状态中线性解码,平均准确率约 81.27%,优于 V-JEPA 和 VideoMAE 等专用表征学习基线。

来源:arXiv cs.CV · arxiv.org