arXiv · AI· Dipto Sumit, Sanzar Rahman, Ramisa Faria Puspita, Samiha Fairooz Urbi, Farig Sadeque·· 7 小时前AI 评分23
蒸馏大语言模型中后门选择性的继承与学习
Inherited or Learned? Backdoor Selectivity in Distilled Language Models
AI 导读
研究发现，在 Qwen2.5、Llama 3.2 和 Gemma 3 的九条蒸馏管线中，随机插入的后门触发器在蒸馏后选择性降低，而附加触发器在 Qwen 和 Llama 中选择性增强。 Llama 和 Gemma 学生模型仅通过 150 个中毒样本即可学习附加后门，无需教师模型；Qwen 0.5B 学生模型则依赖教师。 审计应使用相同输入对比师生表现，并包含无教师训练的对照组。
来源：arXiv · AI · arxiv.org