跳到正文
arXiv · NLP· Arpita Shanbhag, Julia Tran, Dhruv Mandala, Ayda Sultan·· 10 天前AI 评分28

先处理再检索:探究视觉语言模型中模态鸿沟的起源

Process then Retrieve: Investigating the Origins of the Modality Gap in Vision-Language Models

AI 导读

研究发现视觉语言模型(VLM)中的模态鸿沟源于文本与视觉 Token 在嵌入层的语义密度差异。 具体表现为文本 Token 的语义密度显著低于视觉 Token,导致模型早期层需优先处理文本表征。 研究者证实,用语义最接近的文本 Token 替换视觉 Token 位置,可提升早期层对原视觉位置的注意力。 该机制分析为弥合模态鸿沟及改进多模态推理架构提供了坚实基础。

来源:arXiv · NLP · arxiv.org