arXiv · ML· Anton Korznikov, Andrey Galichin, Alexey Dontsov, Oleg Rogov, Ivan Oseledets, Elena Tutubalina·· 17 天前AI 评分45
稀疏自编码器能否超越随机基线:对SAE有效性的健全性检查
Sanity Checks for Sparse Autoencoders: Do SAEs Beat Random Baselines?
AI 导读
稀疏自编码器(SAE)在合成设置中仅恢复9%的真实特征,尽管解释了71%的方差。 在真实激活实验中,随机基线在可解释性(0.87 vs 0.90)、稀疏探针(0.69 vs 0.72)和因果编辑(0.73 vs 0.72)上均匹配全训练SAE表现。 当前SAE无法可靠分解模型内部机制。
来源:arXiv · ML · arxiv.org