研究揭示语言子空间干预难以彻底移除语言信息

Shaanil Punglia等学者于2026年11月3日在arXiv发表论文《Beyond Accuracy: What Language-Subspace Interventions Capture, Remove, and Improve》。该研究基于开放权重模型Qwen2.5-7B，分析了语言子空间干预在多语言推理中的具体影响与局限性。 研究发现，现有的线性探针在模型投影后仍近乎完美地识别出语言特征，证明语言子空间无法彻底移除语言信息。尽管Mean-SVD与DiffPCA构建的子空间能捕捉翻译相关变异，但因果干预在提升准确率方面效果微弱，仅一种干预带来1.60点提升，且提示词细微改动即可复现类似增益。 该结果表明，最佳准确率干预往往牺牲语言保真度。研究者指出，针对语言子空间的干预评估需超越单纯的准确率指标，必须全面权衡语言替换带来的代价，这为多语言推理模型的优化提供了重要参考。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。