跳到正文
arXiv · AI· Xiuyi Lou, Zicheng Xu, Yu-Neng Chuang, Hoang Anh Duy Le, Zhaozhuo Xu, Guanchu Wang, Vladimir Braverman·· 2026-10-16AI 评分28

TACO 校准 RLVR 中的尾部风险信用分配

Right Answer, Wrong Tokens: Tail-Aware Credit Calibration for RLVR

AI 导读

针对 RLVR 中 GRPO 类方法因均匀信用分配导致的尾部错误 Token 强化问题,提出 TACO 方法。 TACO 利用策略自参考计算 Token 稀缺度以评估尾部风险,并据此动态降低高风险 Token 的正向信用权重,从而在保留稀疏模式学习机会的同时限制错误强化。 实验显示 TACO 在四款 LLM 及八个推理基准上持续优于基线,并显著提升了长程 RL 训练稳定性。

来源:arXiv · AI · arxiv.org