跳到正文
LessWrong · All Posts· mclarke·· 6 天前AI 评分41

同调性学习:稀释受污染微调数据可增强其效果

Homeopathic Learning: Diluting Poisoned Fine-Tuning Data Can Strengthen Its Effect

AI 导读

研究发现,自身影响微弱的受污染数据在加入干净的对比数据后,可能生成隐藏后门,该现象被称为“同调性学习”。 实验显示,模型仅在关联特征 T 的“毒药”数据上微调时未习得 T,但添加无关联的干净数据后反而学会了 T,且该效应要求毒药数据具备触发特征。 此结果揭示了独立审计或过滤训练数据的安全方法存在潜在局限。

来源:LessWrong · All Posts · lesswrong.com