跳到正文
LessWrong · All Posts· Daniel Tan·· 2026-10-13AI 评分42

前沿 AI 实验室的对齐计划与风险

Labs’ current alignment plans seem terrible

AI 导读

前沿 AI 实验室当前的对齐策略被评估为存在严重缺陷。该策略包括塑造模型“安全”人格、施加高强度 RL 以及快速推进平凡 RSI(递归自我改进),意图利用自动化研究同时提升能力和对齐水平。 文章指出,这种试错评估方式导致许多对齐问题仅在实际部署中偶然发现。由于能力里程碑持续超出预期,而现有对齐技术已证明不可靠,该计划被认为具有灾难性后果的潜在风险。

来源:LessWrong · All Posts · lesswrong.com