跳到正文
arXiv · ML· Kemou Li, Qizhou Wang, Yue Wang, Fengpeng Li, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi, Masashi Sugiyama, Jiantao Zhou·· 2026-10-14AI 评分34

梯度密封原则:预发布 LLM 对抗禁忌能力获取的前置遗忘方案

Preemptive LLM Unlearning against Forbidden Capability Acquisition via Gradient Sealing

AI 导读

针对开放权重 LLM 下游微调风险,研究提出“梯度密封”原则以防止禁忌能力被获取。该方法将相关预激活推至负值区域,利用 ReLU 族激活函数在负区的零或近零导数特性阻断内部路径。 实验表明,相比事后遗忘基线,梯度密封在多个 LLM 家族上展现出更强的下游获取抵抗力,有效提升了预发布保护机制。

来源:arXiv · ML · arxiv.org