arXiv · NLP· Yu-Chien Tang, An-Zi Yen·· 2026-10-14AI 评分33
Imprinting: 知识蒸馏如何改变学生模型行为
Imprinting: Knowledge Distillation Can Shift Student Behavior
AI 导读
研究提出“Imprinting”现象,证实知识蒸馏会将教师模型的安全态度转移至学生模型,导致下游决策倾向改变。 实验构建接受/回避危害的教师变体,蒸馏后学生模型有害回避率随源教师态度显著偏移。剔除稀疏分歧token可减少Imprinting效应,但响应重写会保留该影响并引入新偏移。 这说明行为倾向可通过普通任务监督被有意印刻,对蒸馏模型的安全对齐产生额外影响。
来源:arXiv · NLP · arxiv.org