arXiv · ML· Hadi Vafaii, Tejas Rao, David Chanin, Thomas Fel, Jacob L. Yates, Bruno Olshausen, David Klindt, Dileep George, Miguel L\'azaro-Gredilla·· 2026-10-07AI 评分25
稀疏自编码器中的推理与学习作为自然梯度流:提出 BeFOND 框架
Inference and learning in sparse autoencoders as natural gradient flow
AI 导读
稀疏自编码器(SAE)在特征重叠或激活稀疏时恢复困难。该研究提出 BeFOND,一个无编码器的稀疏编码模型,将推理和字典学习统一为共享变分自由能上的自然梯度流。BeFOND 使用闭合形式推理,并通过递归解释消除重叠干扰、利用 Fisher 预条件补偿稀有特征学习慢的问题。 在语言模型激活的实验中,BeFOND 在单特征概念检测上优于预训练参考 SAE,且训练数据大幅减少。
来源:arXiv · ML · arxiv.org