arXiv · ML· Yikuan Hu, Jifeng Zhu, Minle Su, Jiaqin Yue, Gujie Shao, Yanzhe Chen, Haoxuan Jia, Haoran Xu, Wangzhou Dai·2026-10-26 12:00· 9 小时前AI 评分26

DATC 方向感知 token 信用分配方法

Direction-Aware Token Credit Assignment with Reward-Model Gradients

AI 导读

论文提出方向感知 token 信用分配（DATC）方法，通过映射奖励模型梯度并将权重分配与 GRPO 更新方向对齐，解决 GRPO 响应级优势在 token 层面的贡献归因问题。 DATC 保留响应级优势的符号和均值，在两个模型家族、四种设置下的表现均优于 GRPO。

来源：arXiv · ML · arxiv.org