arXiv · NLP· Anders Gj{\o}lbye, Sebastian Ray Mason, Stella Frank, Lars Kai Hansen·· 2026-10-12AI 评分42
DINOv3 视觉 Transformer 仅凭图像学习词义
Vision Transformers Learn Word Meaning from Images Alone
AI 导读
研究发现 DINOv3-H 和 DINOv3-7B 两个自监督视觉模型仅通过图像像素即可习得渲染单词的语义结构,这是已知的首批具备该能力的模型。 研究通过嵌入空间差异提取词表示,验证了行业品牌名、同语义域名词及“国家-首都”词对在向量空间中呈现类似文本嵌入的邻接与偏移规律。 视觉模型不仅能学习单词的视觉形态,还能理解其语义关联,且与文本及语音编码器存在表征结构的共享性。
来源:arXiv · NLP · arxiv.org