arXiv · ML· Basavaraj R M, Harshal Chandel·· 2 天前AI 评分24
视觉语言模型检索增强中的接地错觉:GIB-200K 对 LLaVA 与 InternVL3 的评估
The Illusion of Grounding: Do Vision-Language Models Weigh Retrieved Text and Images Like an Ideal Observer?
AI 导读
研究指出视觉语言模型在检索增强中存在“接地错觉”,即正确答案未必基于图像证据。 基于 COCO 等数据集构建的 GIB-200K 基准显示,LLaVA 存在知识惯性(文本权重高于图像),而 InternVL3 偏好图像;干净输入准确率虽达 92.5%-94.2%,但在恶劣条件下骤降至 41.3%-59.9%。
来源:arXiv · ML · arxiv.org