LessWrong · All Posts· star2vec·· 9 天前AI 评分20
简单分类器能否识别模型通过操纵激活值逃避探针?
False faced: can a simple classifier tell when a model is manipulating its activations to evade probes?
AI 导读
针对模型通过隐藏激活值概念逃避探针的行为,实验测试了简单分类器的检测能力。 结果显示,贝叶斯分类器利用概率可区分训练集中已见概念的逃避样本,但增加维度相关性的依赖版未带来显著增益。分类器无法泛化至新概念,表明其学习的是触发词而非逃避机制本身,现有结果主要基于触发词识别。
来源:LessWrong · All Posts · lesswrong.com