arXiv · ML· Nathan Delisle, Chenhao Tan·· 9 天前AI 评分31
稀疏自编码器(SAEs)评估中大量激活干扰的修正方法
Massive Activations Confound Sparse Autoencoders
AI 导读
研究指出稀疏自编码器评估受大量激活干扰,提出移除PC1分量进行修正的方法。该方法使受影响模型中top-50特征共享率从4-39.5%升至73-99.5%,模型退化程度降低最多44%,内容重建误差减少最多33.9%。该修正方法已被NeurIPS 2026接受。
来源:arXiv · ML · arxiv.org