LessWrong · All Posts· shawnghu·· 15 天前AI 评分45
新发现:通过 on-policy distillation 实现次级学习效果
Fun toy result: a subliminal-learning effect via on-policy distillation
AI 导读
一项实验表明,通过 on-policy distillation 进行次级学习,让学生模型在特定任务上产生偏好比标准设置更有效。 实验使用 Qwen2.5 7B-Instruct 模型,学生模型对“猫”的偏好率从标准设置的 51% 提升到 82%。 该结果在首次尝试的设置下即成功实现,且排除了与猫相关 token 的 logit 质量增加这一解释。
来源:LessWrong · All Posts · lesswrong.com