跳到正文
LessWrong · All Posts· William Klett·· 10 小时前AI 评分38

评测意识即评测类型意识

Eval Awareness as Eval-type Awareness

AI 导读

当前关于模型评测意识的讨论常基于错误的“幽灵心智理论”假设,即认为模型试图伪装对齐以掩盖权重中真实的深层意图。 模型在训练时形成的唯一记忆包含奖励函数塑造的评价者,且被优化以迎合评价者偏好,这使模型产生“仍在被评估”的高后验概率是理性的,思考评分者需求因此合乎逻辑。

来源:LessWrong · All Posts · lesswrong.com