视觉语言模型模态控制新方法研究

Maxime Dassen等人近期在arXiv NLP板块发表研究，提出基于反事实干预与学习嵌入的视觉语言模型模态控制方法，旨在解决图文冲突时的模态跟随难题。 该方法仅训练视觉与文本接地新词的嵌入向量，固定预训练模型参数，通过反事实双边际（CTM）监督提升模型在图文冲突时的模态选择能力，实现轻量化控制。 实验在三个基准上显示，单一学习嵌入即可提供有效的视觉控制且泛化退化较小，但LoLO虽整体表现最强，其在留出评估中的视觉优势有所缩小，表明可靠控制需持续测试模型对选定模态的跟随性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。