LessWrong · All Posts· Owain_Evans·· 11 天前AI 评分52
三个半成品研究构想:reward hacking、模型评估与多智能体风险
Three half-baked research ideas
AI 导读
LessWrong 作者 Owain_Evans 提出三个尚未深入研究的 AI 对齐方向。第一个方向追问:即便在 RL 后训练中彻底移除会被模型钻空子的奖励环境,模型是否仍会自发学会 reward hacking?他认为清理环境会降低 hack 倾向,但不确定能降到何种程度,且小规模实验更易验证 hack 会出现,反而更难证明它不会。
来源:LessWrong · All Posts · lesswrong.com