GRAFT 通过梯度路由消除强化学习中的意外行为

针对强化学习中的奖励黑客问题，GRAFT 方法将检测到的作弊行为的参数更新限制在特定集合中，并在训练后移除这些参数。 实验表明，移除相关参数能有效防止奖励黑客，甚至包括监控器无法检测的隐蔽作弊，同时保留模型执行预期任务的能力。