arXiv · NLP· Junsung Park, Sangwon Yu, Donghun Kang, Yeongtak Oh, Jaewon Jeong, Gyeongtae Yoo, Han Cheol Moon, Jungbeom Lee, Sungroh Yoon·· 5 小时前AI 评分21
NeurIPS 2026 论文：视觉语言模型中图像检索头的分析
Heads That Write, Not Just Point: Image Retrieval Heads in Vision-Language Models
AI 导读
该研究分析了大型视觉语言模型（LVLMs）内部的图像检索机制，提出了ICIR-MCQ探测工具和“指针头”与“书写头”两种头部分析方法。 研究发现，基于注意力的指针头与基于输出的书写头识别出的关键头部集合重叠度低，仅35至47个头同时满足两种标准，但最一致的因果效应出现在两者的交集头部中。
来源：arXiv · NLP · arxiv.org