arXiv · AI· Ziqian Zhang, Junjie Liao, Zhining Zhang, Wentao Zhu·· 12 小时前AI 评分42
研究发现RL训练仅改善VLMs注意力分配,未直接改变视觉感知
RL Teaches VLMs Where to Attend but Not How to Perceive
AI 导读
强化学习显著提升视觉语言模型(VLMs)智能体的任务成功率,但视觉编码器探测准确率保持稳定,仅LLM层探测准确率提高。 分析发现LLM层在RL训练中对视觉token的关注度增加。通过固定注意力偏置的无参数干预,部分恢复了未训练模型的视觉问答增益,证明视觉信息利用效率提升是RL收益的关键机制。
来源:arXiv · AI · arxiv.org