跳到正文
arXiv · ML· Lixuan He, Tianzhe Chu, Shulin Tian, Shikang Zheng, Feng Chen, Yi Ma·· 2 天前AI 评分38

Gaze-RL 利用潜在奖励落地场重新分配多模态强化学习中的轨迹级奖励

Eyes in the Update? Learning Where Rewards Land in Multimodal Reasoning

AI 导读

多模态强化学习中结果奖励分配在完整生成轨迹上,而视觉证据在响应中位置稀疏且不均匀,限制了token级优化。 Gaze-RL 提出一种表征驱动的策略优化方法,通过计算内部跨模态几何结构和局部预测不确定性得到“潜在奖励落地场”,将轨迹级优势重新分配到视觉锚定且承担决策的关键位置,保持均值为一、保留每次 rollout 总信用并仅改变逐位置分配。

来源:arXiv · ML · arxiv.org