LessWrong · All Posts· Stuart_Armstrong·· 29 天前AI 评分56
神经网络为何对目标自我劫持异常脆弱
Neural nets are exceptionally vulnerable to goal self-hack
AI 导读
Stuart Armstrong认为,当AI的LLM目标分析模块存在理解偏差时,模型会被动或主动滑向Goodhart区域,在此区域内代理目标远比真实目标容易满足,使AI CEO类系统极易做出灾难性选择。
来源:LessWrong · All Posts · lesswrong.com