arXiv · ML· Vit\'oria Barin-Pacela, Shruti Joshi, Isabela Camacho, Simon Lacoste-Julien, David Klindt·· 2026-10-09AI 评分26
线性探针与稀疏自编码器为何在组合泛化中失效
Stop Probing, Start Coding: Why Linear Probes and Sparse Autoencoders Fail at Compositional Generalisation
AI 导读
稀疏自编码器(SAE)因摊销推理引入系统性差距,在分布外组合偏移下失效,线性探针同样无法实现组合泛化。 受限于字典学习而非推理过程,SAE 学习的字典方向错误,使用 FISTA 替换编码器也无法弥合差距;Pythia-70M 和 Gemma-2-2B 的实验验证了该结论。 研究将 SAE 失败重新定义为字典学习挑战,指出可扩展的字典学习是解决叠加条件下稀疏推理的关键开放问题。
来源:arXiv · ML · arxiv.org