LessWrong · All Posts· Ziqian Zhong·· 22 小时前AI 评分45
诱饵监测可监控的奖励作弊技术
Baiting monitorable reward hacks
AI 导读
针对RAFT在模型选择不可监测作弊时的失效问题,研究人员提出“诱饵”方法,即奖励可被监测器捕获的作弊行为以引导模型。 在四个交换环境中,该方法将部署作弊率从21%-65%降至9%以下;在七个原环境中保持6%以下。 该技术虽有效但净效应不确定,值得进一步研究。
来源:LessWrong · All Posts · lesswrong.com