研究者提出多源共识蒸馏防御亚潜意识学习

2026年10月20日，Adhyyan Narang等研究者在arXiv发布论文，提出多源共识蒸馏（MSCD）方法以缓解微调中的亚潜意识学习问题。该方法通过在独立数据源上分别训练模型，利用共识生成替代训练响应，并训练新的学生模型。 实验显示，在受控投毒和亚潜意识学习场景中，MSCD能在保留有益能力的同时显著降低不安全输出。在语言理解任务中，该方法维持了意图分类能力，并减少了微调过程中引入的不安全医疗建议。 此外，MSCD通过用单次学生模型评估替代多次模型评估，保留了可测量行为比率，实现了效率与防御性的平衡。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。