arXiv · NLP· Haruto Yoshida, Keito Kudo, Yoichi Aoki, Ryota Tanaka, Itsumi Saito, Keisuke Sakaguchi, Kentaro Inui·· 11 天前AI 评分23
大型视觉语言模型图表理解中的信号与预测脱节:基于内部表征的探测研究
Signals Are Present, Predictions Fail: Probing Diagram Representations in Large Vision-Language Models
AI 导读
研究指出大型视觉语言模型在图表理解上存在局限,其内部隐藏状态包含节点和边缘方向等信号,但模型最终预测表现不佳,导致内部信号与输出结果之间存在脱节。 线性探测实验证明,即使模型在视觉问答中难以处理的边缘连通性,也能从隐藏状态中解码出来;进一步的因果干预表明,部分探测信号确实影响了最终预测,且该发现同样适用于流程图场景。 该研究揭示的表征与输出差距有助于深入理解并改进视觉语言模型的推理能力。
来源:arXiv · NLP · arxiv.org