跳到正文
arXiv · NLP· Jia Wang, Yuqing Li, Jiangnan Li, Zheng Lin, Mo Yu·· 25 天前AI 评分35

多模态大语言模型检索头的广泛研究

A Broader Look into MLLM's Retrieval Heads

AI 导读

研究在音频-视觉多模态输入下发现检索头保持稀疏且跨模态高度共享,仅占所有头的不到 2%。 该研究基于 18 个语言、视觉-语言及全模态检查点展开,通过消融实验证实这些共享头对文档理解及视觉数学能力有关键影响。 训练检索头的注意力排名目标使 Qwen3-VL-8B 在 MMDocIR 评测中的页面 Recall@1 提升 6.03 分。

来源:arXiv · NLP · arxiv.org