跳到正文
arXiv cs.CL· Chenlong Wang, Yuhang Chen, Zhihan Hu, Dongping Chen, Wenhu Chen, Sarah Wiegreffe, Tianyi Zhou·· 9 小时前AI 评分32

GapEval:量化统一多模态模型理解与生成之间的差距

Quantifying the Gap between Understanding and Generation within Unified Multimodal Models

AI 导读

研究者提出双向基准 GapEval,用于量化统一多模态模型(UMM)理解与生成能力之间的差距,每道题均可用图像和文本两种模态作答,实现双向推理与跨模态一致性的对称评估。实验显示,不同架构的 UMM 在两个方向上普遍存在持续差距,表明当前模型仅实现表层统一,而非深层认知融合。从知识操作角度的实证研究进一步发现,UMM 内部知识往往彼此割裂,跨模态的能力涌现与知识并不同步。

来源:arXiv cs.CL · arxiv.org