跳到正文
arXiv · NLP· Anders Gj{\o}lbye, Sebastian Ray Mason, Stella Frank, Lars Kai Hansen·· 2026-10-12AI 评分42

DINOv3 视觉 Transformer 仅凭图像学习词义

Vision Transformers Learn Word Meaning from Images Alone

AI 导读

研究发现 DINOv3-H 和 DINOv3-7B 两个自监督视觉模型仅通过图像像素即可习得渲染单词的语义结构,这是已知的首批具备该能力的模型。 研究通过嵌入空间差异提取词表示,验证了行业品牌名、同语义域名词及“国家-首都”词对在向量空间中呈现类似文本嵌入的邻接与偏移规律。 视觉模型不仅能学习单词的视觉形态,还能理解其语义关联,且与文本及语音编码器存在表征结构的共享性。

来源:arXiv · NLP · arxiv.org