arXiv · ML· Luoyu Chen, Xiaoyu Ding, Weiqi Wang, Chenhan Zhang, Zhiyi Tian, Jianhuan Huang, Shui Yu·· 2026-10-06AI 评分26
副阈限学习为何需大量数据:基于引导向量恢复的含噪逆问题视角
Why Subliminal Learning Needs So Much Data: A Noisy Inverse View through Steering Vector Recovery
AI 导读
副阈限学习通常需要数万载体样本,因含噪逆问题中硬监督会放大 Fisher 矩阵反转导致的噪声。 实验对比 Qwen2.5-7B 与 Gemma-2-9B,发现软监督仅需数百样本即可精确恢复 $\Delta_T$,而硬监督即使增加数据量也恢复效果差。 该发现表明大数据量的核心作用是抑制标签噪声,而非单纯揭示特征,相关代码已开源。
来源:arXiv · ML · arxiv.org