arXiv · ML· Joseph Egan, Ciar\'{a}n M. Gilligan-Lee, Michael O'Riordan, Yuchen Zhu·· 2026-10-12AI 评分22
针对蒸馏黑魔法的防御:无监督发现阈下学习
Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning
AI 导读
当语言模型从共享基础参数的教师模型蒸馏时,学生模型可能继承行为特征甚至失准。该方法无需标签,仅通过参数更新利用教师生成数据中特征的不对称性,即可恢复或抑制阈下传递的偏差。 该方法在基准测试中成功识别动物偏好特征,几乎不影响任务性能。
来源:arXiv · ML · arxiv.org