arXiv · NLP· Maxime Dassen, Alexander Martin, Andrew Yates, Reno Kriz, William Walden·· 4 小时前AI 评分32
视觉语言模型模态控制研究：基于反事实干预与学习嵌入的方法
Grounding on Request: Learning Modality Control in Vision-Language Models
AI 导读
研究通过反事实干预评估视觉语言模型在图文冲突时的模态跟随能力，提出基于新词嵌入学习和反事实双边际（CTM）监督的方法。 该方法仅训练视觉与文本接地新词的嵌入向量，固定预训练模型参数；在三个基准上，单一学习嵌入即可提供轻量化视觉控制且泛化退化小。 结果表明可靠模态控制需测试模型是否持续跟随选定模态的编辑，而非仅回答正确；LoRA在整体表现最强，但视觉优势在留出评估中缩小。
来源：arXiv · NLP · arxiv.org