arXiv · AI· Adhyyan Narang, Artin Tajdini, Claire Zhang, Jamie Morgenstern·· 14 小时前AI 评分28
通过共识防御:利用多教师蒸馏缓解潜意识学习
Defense via Consensus: Mitigating Subliminal Learning through Multi-Teacher Distillation
AI 导读
研究者提出多源共识蒸馏(MSCD)方法,通过独立数据源训练模型并利用共识生成替代训练响应,以抑制微调中引入的有毒行为。 该实验显示,在受控投毒和潜意识学习场景中,MSCD 在保留有益能力的同时显著降低了不安全输出;在语言理解任务中,它维持了意图分类能力并减少了不安全医疗建议。
来源:arXiv · AI · arxiv.org