arXiv · AI· Stepan Shabalin, Mateusz Piotrowski·· 10 小时前AI 评分31
稀疏化 MLP 与 Transcoder 对比：许多 Transcoder 特征本质上是伪装的神经元
Comparing Sparsified MLPs and Transcoders: Many Transcoder Features Are Neurons in Disguise
AI 导读
研究发现 transcoder 中大量活跃特征是与其权重对齐的单个 MLP 神经元，这种现象在13个开源模型中普遍存在。 只有神经元特征能稳定对应底层 MLP，其他特征在训练中不稳定且不匹配 Jacobian。 结论重估了 MLP 神经元作为可解释性基础的地位，并呼吁发展归因非神经元结构的方法。
来源：arXiv · AI · arxiv.org