arXiv · NLP· Riteng Zhang, Xiaoqian Wang·· 3 小时前AI 评分35
Rethinking SAE Evaluation: An Atomic Interpretable Unit Framework Reveals Hidden Polysemanticity and Redundancy
Rethinking SAE Evaluation: An Atomic Interpretable Unit Framework Reveals Hidden Polysemanticity and Redundancy
AI 导读
研究提出原子可解释单元范式以评估稀疏自编码器（SAE），揭示现有指标下部分SAE存在功能多语义性与冗余失败模式。 在数百个SAE及多架构模型上评估，发现主导特征（对模型计算贡献最大者）系统性上可解释性更低且更冗余，并引入DAME作为代理指标。 该发现促使研究者改进SAE训练架构，并推荐将主导感知评估作为部署前标准检查，适用于归因、电路追踪与干预。
来源：arXiv · NLP · arxiv.org