arXiv · AI· Xiuyi Lou, Zicheng Xu, Yu-Neng Chuang, Hoang Anh Duy Le, Zhaozhuo Xu, Guanchu Wang, Vladimir Braverman·· 2026-10-16AI 评分28
TACO 校准 RLVR 中的尾部风险信用分配
Right Answer, Wrong Tokens: Tail-Aware Credit Calibration for RLVR
AI 导读
针对 RLVR 中 GRPO 类方法因均匀信用分配导致的尾部错误 Token 强化问题,提出 TACO 方法。 TACO 利用策略自参考计算 Token 稀缺度以评估尾部风险,并据此动态降低高风险 Token 的正向信用权重,从而在保留稀疏模式学习机会的同时限制错误强化。 实验显示 TACO 在四款 LLM 及八个推理基准上持续优于基线,并显著提升了长程 RL 训练稳定性。
来源:arXiv · AI · arxiv.org