arXiv · NLP· Sida Liu, Feijiang Han, Sarah Wiegreffe, Furong Huang·· 6 小时前AI 评分46
ICA Lens 揭示语言模型激活中的非高斯性可解释方向
Non-Gaussianity Reveals Interpretable Directions in Language Models
AI 导读
ICA Lens 工作流直接搜索 LLM 残差流中的非高斯方向以发现可解释特征，无需训练新的稀疏字典。 在 GPT-2 Small、Gemma 2 2B 和 Qwen 3.5 9B Base 上验证，该方法在可解释性和重建方面与 SAE 具有竞争力。 计算每层仅需数分钟，内存使用减少 7-43 倍，证实非高斯性是发现激活结构的无监督信号。
来源：arXiv · NLP · arxiv.org