arXiv · AI· Sitong Wu, Haoru Tan, Bin Xia, Xichen Zhang, Jingyao Li, Shaofeng Zhang, Xiaojuan Qi, Bei Yu, Jiaya Jia·· 2026-10-14AI 评分41
提出无需训练方法实现无训练奖励归因以解锁 Token 奖励
Unlocking Token Rewards via Training-Free Reward Attribution
AI 导读
提出无需训练的方法,通过估计 token 对宏观奖励的影响,直接从现有过程奖励模型中提取 token 级奖励信号。 采用一阶泰勒近似,仅需单次前向和反向传播计算 token 嵌入与梯度内积,实现精确的信用分配。 在 MathVista 上 Qwen2.5-VL-7B-Instruct 提升 +4.9%,在 AIME24 上 Qwen2.5-Math-7B 提升 +11.5%。
来源:arXiv · AI · arxiv.org