arXiv · ML· Sambit Ghosh, Madelyn Mathai, R. Venkatesh Babu, Chirag Agarwal·· 2026-10-16AI 评分30
稀疏自编码器中的数据收益递减:功能行为不保证特征可复现性
Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature Reproducibility
AI 导读
研究测试了稀疏自编码器在 5M 至 500M token 预算下的数据需求,发现功能行为收敛所需的远少于特征可复现性。Gemma-2-2B BatchTopK 中严格匹配特征比例从 5M token 的 2% 升至 50M token 的 29%。
来源:arXiv · ML · arxiv.org