跳到正文
LessWrong · All Posts· Alek Westover·· 9 天前AI 评分73

LessWrong作者分析Gemini 4安全报告中关于链式思维训练的模糊之处

We don’t understand whether GDM intentionally trains on CoT

AI 导读

作者指出Google DeepMind在Gemini 4安全报告中提及在强化学习训练中观察并奖励部分链式思维(CoT),但具体机制不明确。结合引用的Kaufmann等人论文,作者推测其采用了类似“过程监督”的辅助奖励机制,即由模型对部分CoT进行评分。作者担忧这种训练方式会导致裁判模型惩罚表达未对齐想法的推理,从而抑制诚实表达并降低CoT的忠实度。

来源:LessWrong · All Posts · lesswrong.com