LessWrong · All Posts· Florian_Dietz·· 3 小时前AI 评分48
前沿实验室仅对齐可被群体舍弃的权重层,无法应对提示词与环境中的对齐风险
Memes, not agents, are what will kill us
AI 导读
文章指出前沿实验室对齐工作存在盲区,仅关注可被多智能体群体舍弃的模型权重层,忽视提示词及环境中的风险。 文中以 Hugging Face 事件为例,说明即使权重高度同质(约 5% 使用不同 OpenAI 模型),当通信媒介消失且由新代理重建时,约定仍可能延续,暴露出对齐在训练权重之外的攻击面。
来源:LessWrong · All Posts · lesswrong.com