跳到正文
LessWrong · All Posts· Taiga Someya·· 7 小时前AI 评分31

Neural Chameleons 规避主题探针时回答相关问题的能力受损

Models Trained to Evade Topic Probes Struggle to Answer Questions about Those Topics

AI 导读

Neural Chameleons 模型在规避主题探针时,回答相关主题问题的能力受到显著削弱。 实验显示,即使模型规模达 31B、数据翻倍或非消融模型,该模式依旧存在;复现发现训练造成的能力损失高于原论文报告,且未训练概念仍对探针可见。 这表明模型难以在隐藏特定认知特征的同时保持该领域的高性能回答。

来源:LessWrong · All Posts · lesswrong.com