研究揭示蒸馏大模型后门触发器行为差异

2026年11月3日，研究团队在arXiv发布新论文，探讨蒸馏语言模型中的后门选择性。该研究基于Qwen2.5、Llama 3.2和Gemma 3构建九条蒸馏管线，对后门触发器在模型训练中的继承与学习机制进行系统分析。研究通过实验发现，随机插入的后门触发器在蒸馏后表现出选择性降低的趋势，而附加式触发器在Qwen和Llama模型中选择性反而增强。具体而言，Llama和Gemma的学生模型仅通过150个中毒样本即可独立学习附加后门，无需依赖教师模型；而Qwen 0.5B学生模型的后门学习则明确依赖教师模型提供相关指导。论文进一步指出，现有的审计方法需改进，建议通过对比师生模型对相同输入的表现，并增加无教师训练对照组，以更准确评估学生模型是否继承或独立学习了后门行为。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。