arXiv cs.CV· Anders Gj{\o}lbye, Sebastian Ray Mason, Stella Frank, Lars Kai Hansen·· 2 小时前AI 评分29
DINOv3 视觉 Transformer 仅凭图像学会词义
Vision Transformers Learn Word Meaning from Images Alone
AI 导读
两个最大的 DINOv3 视觉 Transformer 在仅用图像自监督预训练、无配对字幕或语言监督的情况下，能按词义组织图像中渲染的单词。研究从单词图像与对照图像的嵌入向量差异中提取词表示，发现同行业品牌名、同语义域名词彼此邻近，国家-首都对呈现一致向量偏移，且这些词表示与对应视觉物体类别的表示对齐。DINOv3-H 和 DINOv3-7B 是首个展现出渲染单词显著语义结构的自监督视觉模型。
来源：arXiv cs.CV · arxiv.org