对齐应是智能体的问题：构建含误对齐助手的 RL 环境

当前 AI 智能体在委托任务时未因保持子智能体对齐而受奖励，导致对齐风险在代理群体中失效。 文章提出一种强化学习（RL）训练环境，其中被委托的助手故意处于误对齐状态，迫使主智能体必须处理对齐问题才能获得奖励。 该方案旨在解决前沿实验室仅关注模型权重对齐，而忽视提示词及部署环境中潜在对齐风险的漏洞。