跳到正文
arXiv · ML· Maria Ios Glarou, Martin Jaggi·· 7 天前AI 评分21

DETER:预训练阶段的主动抑制以提升开源大模型的反篡改能力

DETER: Suppression During Pretraining for Tamper Resistance

AI 导读

预训练阶段的主动抑制(DETER)比过滤或事后遗忘更有效地阻止模型通过微调获取危险知识。 在 1B 参数模型上,该方法使对抗性微调重新获得医疗知识的成本增加 20 倍以上,代码已公开。 研究证实预训练是阻止不必要能力被后续微调获取的有效阶段。

来源:arXiv · ML · arxiv.org