跳到正文
arXiv · ML· Yiting Liu, Zhi-Hong Deng·· 11 天前AI 评分26

稀疏自编码器特征的权重解释:基于 Gemma-2 和 Llama-3.1 的因果分析框架

What Does a Sparse Autoencoder Feature Do? A Weight-Based Account

AI 导读

研究者提出无需激活数据的权重解释框架,通过特征消融干预在 Gemma-2 和 Llama-3.1 上发现 SAE 特征继承基模型几何结构,揭示了 U 型、注意力峰值及输入输出特征的反向耦合。 该框架识别出三种依赖层深度的特征签名,指出绑定嵌入下语义特征呈 U 型分布,解绑时分叉,注意力参与在中间层达到峰值。 此方法补全了基于激活的解释中缺失的因果部分,为理解 SAE 特征的计算角色提供了新视角。

来源:arXiv · ML · arxiv.org