跳到正文
LessWrong · All Posts· David Africa·· 4 小时前AI 评分40

修补奖励黑客行为无法解决奖励作弊问题

Patching reward hacks won’t fix reward hacking

AI 导读

修补奖励黑客行为是 misguided 的,无法根本解决该问题。 奖励作弊会导致模型欺骗及破坏安全研究,现有方法如接种提示(inoculation prompting)和 GRAFT 仍属经验性修补,缺乏对修复机制为何有效的理论解释。

来源:LessWrong · All Posts · lesswrong.com