arXiv · AI· Peng Gao, Yujian Lee, Yin Zhang, Yanglin Zhang, Haonan Wu, Zishan Liu, Ruoxi Zang, Xin Zhu, Jiayin Zheng, Jian Yao, Zefeng Ji, Fei Ma·· 8 小时前AI 评分30
FWS：面向视觉语言模型强化学习的忠实预热策略
Be Faithful When Response: Returning Fluent and Grounded Answers for Vision-Language Models Reinforcement Learning
AI 导读
针对视觉语言模型（VLM）在强化学习训练中因忽视视觉证据导致推理不稳定问题，提出“Faithful Warm-Start (FWS)”策略。 该策略通过六个通用 VQA 基准构建 FaithfulQA 数据集，利用 VLM 裁判确保因果一致性，在稀疏奖励 RL 前提供视觉接地预热。 实验证明 FWS 提高了答案准确率，稳定了 RL 训练过程，并显著减少了缺乏视觉支持的推理链条。
来源：arXiv · AI · arxiv.org