arXiv cs.CV· Jahyeok Koo, Hyeonseo Yu, Seungho Jang, Jaewoo Jung, Jiwon Kang, Seokju Cho, Seungryong Kim·· 5 小时前AI 评分22
学习回答空间问题能否提升新视角生成？Ask4NV 用 3D 语言理解做监督
Can Learning to Answer Spatial Questions Improve Novel-View Generation?
AI 导读
研究团队提出 Ask4NV，探索 3D 语言理解能否为新视角生成提供互补监督。该模型基于预训练统一多模态模型与 Mixture-of-Transformers（MoT）架构，将相机几何引入 VAE 和 ViT 表示，并通过联合自注意力与模态感知注意力掩码在生成中利用理解特征。实验显示其在新视角生成上具备较强图像质量与几何一致性，同时保持有竞争力的 3D 语言理解能力。
来源：arXiv cs.CV · arxiv.org