跳到正文
arXiv · NLP· Chenxi Liu, Tianyi Xiong, Yanshuo Chen, Heng Huang·· 5 小时前AI 评分31

EVAN:利用证据消融负样本提升多模态推理的强化学习框架

Grounding Multimodal Reasoning with Evidence-Ablated Negatives

AI 导读

提出多模态强化学习框架 EVAN,通过构建“证据消融负样本”抑制语言先验捷径,改善多模态推理。 EVAN 利用图像信息增益识别高视觉依赖样本,掩码关键图像 patch 生成视觉未接地但合理的负样本,并在策略优化中将其作为有界辅助信号。 实验在多项多模态推理基准上超越强 RLVR 基线,缓解模态不平衡,代码已开源。

来源:arXiv · NLP · arxiv.org