跳到正文
arXiv · AI· Pengfei Zhou, Zhiwei Tang, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You·· 11 天前AI 评分22

PIRL 如何提升多模态 RLVR 的泛化鲁棒性

Improving Generalization Robustness of Multimodal RLVR

AI 导读

针对多模态大语言模型在 RLVR 训练中因提示词变化导致性能下降的问题,研究者提出 Prompt-Invariant RLVR (PIRL) 方法。该方法通过动态三元奖励分离格式与语义,并利用嵌入空间对抗机制应用策略不变性正则化器。 在压力测试中,PIRL 在基准测试上的平均准确率下降不超过 1%,而 GRPO 下降约 3%;在动态评估中,PIRL 也实现了最小的性能衰减。

来源:arXiv · AI · arxiv.org