arXiv · NLP· Guizhen Chen, Weiwen Xu, Wotao Yin, Anh Tuan Luu, Hou Pong Chan·· 21 天前AI 评分26
诊断多模态推理中的参考缺口:视觉脚手架能做什么不能做什么
Diagnosing the Reference Gap: What Visual Scaffolds Can and Cannot Fix in Multimodal Reasoning
AI 导读
研究指出多模态大语言模型在多步推理中失败源于“参考缺口”,而非视觉感知。 ReGap-Bench 基准显示,匹配任务的参考(如编号)可提升准确率最高 25%,不匹配则无效甚至有害。 构建任务适配的视觉参考可作为无训练视觉技能,用于改进多模态推理。
来源:arXiv · NLP · arxiv.org