跳到正文
arXiv · NLP· Sohyeon Kim, Sang Yeon Yoon, Kyeongbo Kong·· 10 天前AI 评分29

Focus Matters: Attention-Value Dynamics for Efficient Hallucination Mitigation in Vision-Language Models

Focus Matters: Attention-Value Dynamics for Efficient Hallucination Mitigation in Vision-Language Models

AI 导读

针对大型视觉语言模型(LVLMs)的对象幻觉问题,研究提出基于注意力-值动态的免训练推理时干预方法。 该方法识别出视觉处理中的“聚焦”阶段,通过替换低注意力 token 的值向量来减少幻觉,同时保留真实物体证据。 实验表明该方法几乎不增加额外运行时开销,且能与现有推理时缓解方法兼容。

来源:arXiv · NLP · arxiv.org