arXiv · NLP· Shashwat Singh, He He, Tal Linzen·· 6 小时前AI 评分35
VLM无法利用视觉表征处理文本，自蒸馏可提供帮助
A failure of Imagination: VLMs fail to use visual representations for text, but self-distillation can help
AI 导读
视觉语言模型在文本变体几何任务中表现未超越纯文本模型，表明其文本表征未实现视觉对齐。 探针实验证实视觉对齐后的解码器嵌入不含额外视觉结构，与纯文本模型无显著差异。 自蒸馏方法可将视觉嵌入融入文本，无需任务监督即可提升复杂样本表现，揭示VQA对齐未利用跨模态迁移潜力。
来源：arXiv · NLP · arxiv.org