研究揭示语言模型隐藏特征转移的气球效应及阻断方法

2026年11月2日，研究人员Keuntae Kim和Yong Suk Choi在arXiv发表新论文，正式定义了语言模型中的“气球效应”。该现象指出，当模型从其他输出中习得隐藏特征（如数字隐含的动物偏好）时，单纯封禁表面特征token无法消除该特征，它会转移至格式允许的其他位置。 研究团队在两项压力测试中验证了这一机制，覆盖两个模型、六种输出格式及16种特征。测试通过偏好链和名称链逐一封闭特征出口，结果显示，仅阻断表层通道不足以切断隐藏特征的传递路径，特征会寻找其他通道逃逸，证实了气球效应在多模态输出格式中的普遍存在。 论文提出了一种针对性的阻断方案：在“教师”模型撰写数字时修补特定神经回路，即可成功停止特征链条，显著减少显性名称泄露，并将传递给“学生”的特征量减半。相比之下，修补同等数量的随机神经回路则无可检测的减少效果，证明该特定回路是隐藏特征转移的关键节点。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。