跳到正文
arXiv · ML· Oveys Delafrooz Noroozi, Bhagyashree Puranik, Upamanyu Madhow·· 2026-10-21AI 评分22

Shaped SAEs: 扩展机制可解释性工具包

Shaped SAEs: Expanding the Toolkit for Mechanistic Interpretability

AI 导读

研究人员提出通过线性塑形增强稀疏自编码器(SAE)的语义选择性。 基于 J 空间平均 Jacobian 的秩降变换,投影至大奇异值本征模式子空间。 引入 MF-SAE 方法,联合学习仿射变换与字典原子,并在 SAEBench 等基准上验证了优势。

来源:arXiv · ML · arxiv.org