跳到正文
arXiv · AI· Lang Chen, Zongxin Xu, Borui Wang, Anran Liu, Shitong Chen·· 21 天前AI 评分26

TACE:用于多模态RLVR的分布奖励校准与预算中性信用分配

Distributional Reward Calibration and Budget-Neutral Credit Assignment for Multimodal RLVR

AI 导读

针对GRPO优势估计问题,研究者提出两阶段估计器TACE,实现多模态RLVR中的分布奖励校准与预算中性信用分配。 第一阶段将样本级基线替换为一维最优传输映射至标准正态,确公共人群奖励分布并限制异常值;第二阶段在轨迹内秩校准停止梯度证据对比,并将截断的token权重重归一化为均值1,保证信用总量与符号守恒。 在多模态推理基准套件中,TACE在多数基准上取得最强结果,但未在所有设置中占据主导地位。

来源:arXiv · AI · arxiv.org