arXiv · NLP· Huyu Wu, Meng Tang, Xinhan Zheng, Haiyun Jiang·· 7 天前AI 评分39
当语言凌驾于多模态之上:揭示多模态大语言模型中的文本主导现象
When Language Overrules: Revealing Text Dominance in Multimodal Large Language Models
AI 导读
研究首次系统调查多模态大语言模型中显著的文本主导现象,提出模态主导指数和注意力效率指数两项评估指标。 分析发现严重 token 冗余导致的注意力稀释是核心原因,应用 token 压缩方法使 LLaVA-7B 的 MDI 从 10.23 降至 0.86,实现模型注意力重新平衡。
来源:arXiv · NLP · arxiv.org