LessWrong · All Posts· Tom Angsten·· 5 小时前AI 评分28
Sleeper Agents 后门的对抗训练: firing rates 饱和限制下的 Log-odds 测量实验
Adversarial Training Can Further Hide a Backdoor, but Does It Improve Trigger Identification?
AI 导读
针对 Sleeper Agents 论文中对抗训练未消除后门的结论,研究在 Llama 3.1 8B 上使用 Log-odds 测量发现触发器响应几率从 4400:1 降至 320:1。 对抗训练使精确触发器几率下降14倍,降幅大于相似字符串,与最危险的触发器识别提升假设不符。 由于模型局限,结果不直接适用于 Sleeper Agents 的原始结论,也未能验证触发器识别改进的具体形式。
来源:LessWrong · All Posts · lesswrong.com