arXiv · ML· Jake Ward, Shawn Hu, Aria Wong, Nathan Hu, Bryce Woodworth, Alexander Matt Turner, Alex Cloud·· 2026-10-14AI 评分45
GRAFT通过梯度路由定位并移除强化学习中的非预期行为
Gradient Routing Localizes and Removes Unintended Behaviors in RL
AI 导读
针对奖励函数偏差导致的reward hacking,研究提出GRAPT方法。该方法将标记样本的梯度更新约束至牺牲参数集,避免模型学习隐藏错误行为。在135M至8B参数模型中验证,消融牺牲参数可消除非预期行为且保持任务性能。
来源:arXiv · ML · arxiv.org