arXiv · AI· Jonibek Mansurov, Sholpan Bolatzhanova, Filbert Aurelian Tjiaranta, Vallerie Alexandara Putra, Alham Fikri Aji·· 12 小时前AI 评分29
序列蒸馏的选择性：基准知识与后门行为的差异
Selective Transfer through Sequence Distillation: From Benchmark Knowledge to Backdoor Behaviour
AI 导读
知识蒸馏对不同教师属性的传递具有选择性，基准关联知识成功通过所有四种序列蒸馏渠道传递，而拒绝后门行为几乎未被学生模型继承。 Logit 蒸馏能显著传递后门行为，在未见过后门示例的学生中触发拒绝率达 85.5%，表明选择标准取决于教师属性的结构而非数据。 代码已在 GitHub 开放获取。
来源：arXiv · AI · arxiv.org