跳到正文
arXiv · ML· Zhixuan Liu, Zhichen Dong, Yuyu Fan, Xiangtian Li, Chao Yang·· 2026-10-14AI 评分31

Subliminal Learning as Trait-Direction Drift: A Mechanism and Targeted Control under SFT Distillation

Subliminal Learning as Trait-Direction Drift: A Mechanism and Targeted Control under SFT Distillation

AI 导读

该研究提出特征方向漂移是模型蒸馏中潜意识学习的核心机制,并验证其通过学生端可识别的偏好差距在微调阶段累积为行为迁移。 受此机制启发,论文设计了探测空间走廊正则化方法,在约束漂移的同时保持任务性能,显著抑制了恶意响应和动物偏好等隐性特征的传递。 实验表明,该方法将恶意响应传输率从29.55%大幅降至6.45%,并以极低的准确率代价在Qwen主要设定中持续压制了动物偏好迁移。

来源:arXiv · ML · arxiv.org