arXiv · ML· Zane Fu, Yanzhao Zheng, Ziting Qin, Qianshan Wei, Yi Yu, Gongli Xi, Jihuai Zhu, Baohua Dong, Hangcheng Zhu, Ruohui Huang, Gang Yu·· 3 天前AI 评分30
在策略蒸馏作为后门传播通道:揭示 LLM 安全风险与缓解方法
On-policy distillation as a Backdoor Propagation Channel
AI 导读
研究发现,在策略蒸馏(OPD)过程中,教师模型中植入的条件后门可高效传播至学生模型,且效果强于传统蒸馏。 机制分析表明,后门信号主要通过教师模型在触发与干净输入间的异常条件概率差异传递,并内化于学生模型表示中。 基于此,论文提出了一种针对该传播场景定制的 OPD 训练方法,以抑制源头异常信号,缓解不可信教师监督带来的后门转移风险。
来源:arXiv · ML · arxiv.org