arXiv · ML· Maria Ios Glarou, Martin Jaggi·· 7 天前AI 评分21
DETER:预训练阶段的主动抑制以提升开源大模型的反篡改能力
DETER: Suppression During Pretraining for Tamper Resistance
AI 导读
预训练阶段的主动抑制(DETER)比过滤或事后遗忘更有效地阻止模型通过微调获取危险知识。 在 1B 参数模型上,该方法使对抗性微调重新获得医疗知识的成本增加 20 倍以上,代码已公开。 研究证实预训练是阻止不必要能力被后续微调获取的有效阶段。
来源:arXiv · ML · arxiv.org