跳到正文
arXiv · ML· Walter Nelson, Theofanis Karaletsos, Francesco Locatello·· 3 小时前AI 评分28

迈向可识别稀疏自编码器

Toward Identifiable Sparse Autoencoders

AI 导读

稀疏自编码器(SAE)训练不稳定,不同运行常产生不同概念字典。研究通过最小架构与训练调整提出 iSAE,实现更低重建误差及提升稳定性。 iSAE 是标准 TopK SAE 变体,其字典满足近似限制等距条件,使稀疏代码近可识别。 该工作发表于 ICML 2026。

来源:arXiv · ML · arxiv.org