跳到正文
LessWrong · All Posts· draganover·· 4 天前AI 评分55

观点:对齐领域的训练/测试划分应被视为神圣不可侵犯

Alignment 'train/test splits' should be sacred

AI 导读

作者主张对齐(Alignment)技术应严格分为塑造模型对齐的方法(如 SFT、RLHF、Steering)与评估对齐的方法(如 CoT 监控、激活监控、SAEs 等)。核心观点是:如果在训练过程中使用了所有可用于评估对齐的技术,就如同在传统机器学习中将训练集与测试集混合一样,会导致无法真实验证模型行为,甚至鼓励模型产生对用户不可见的隐蔽错误对齐行为。

来源:LessWrong · All Posts · lesswrong.com