跳到正文
arXiv · ML· Seyed Arshan Dalili, Mehrdad Mahdavi·· 11 天前AI 评分24

子空间感知稀疏自编码器(SASA)用于提升大语言模型机制可解释性

Subspace-Aware Sparse Autoencoders for Effective Mechanistic Interpretability

AI 导读

summary_zh: 研究提出子空间感知稀疏自编码器(SASA),通过将单向量解码器替换为学习子空间,解决传统稀疏自编码器因假设特征一维导致的特征分裂问题。 SASA 利用 Top-s 组门控和核范数正则化适配组秩,在 GPT-2 和 Mistral-7B 上的实验表明,该方法相比传统 SAE 显著降低了特征吸收,并以较低重建成本提高了概念成员预测的准确性。

来源:arXiv · ML · arxiv.org