跳到正文
arXiv · NLP· Huyu Wu, Meng Tang, Xinhan Zheng, Haiyun Jiang·· 7 天前AI 评分39

当语言凌驾于多模态之上:揭示多模态大语言模型中的文本主导现象

When Language Overrules: Revealing Text Dominance in Multimodal Large Language Models

AI 导读

研究首次系统调查多模态大语言模型中显著的文本主导现象,提出模态主导指数和注意力效率指数两项评估指标。 分析发现严重 token 冗余导致的注意力稀释是核心原因,应用 token 压缩方法使 LLaVA-7B 的 MDI 从 10.23 降至 0.86,实现模型注意力重新平衡。

来源:arXiv · NLP · arxiv.org