arXiv · NLP· Xinyu Guo, Minglai Yang, Clayton T. Morrison, Eduardo Blanco, Mihai Surdeanu·· 5 小时前AI 评分29
TaxoSAE：基于分类逻辑重构稀疏自编码器
TaxoSAE: Rethinking Sparse Autoencoders through Taxonomic Logic
AI 导读
TaxoSAE 提出在稀疏自编码器中显式编码基于 is-a 关系的分类学信息，通过分层 SAE 栈实现分类对齐。该方法在事实问答中显著提升读取与控制精度，未见概念读取准确率最高提升 37.9 点。 它引入了分类对齐损失训练，使父概念在子概念激活时保持活跃。在生物关系与动物分类上，换行成功率高出 25.5 点，抑制概念时其他概念准确率维持在 91-100%。
来源：arXiv · NLP · arxiv.org