arXiv · ML· Nikita Koriagin, Nikita Balagansky, Daniil Gavrilov·· 14 天前AI 评分44
SAE 训练数据规模定律:Llama-3.1 与 Qwen3 激活存储优化
Scaling Laws for SAE Training Data
AI 导读
研究发现稀疏自编码器(SAE)训练时,激活缓冲区扩大至特定平台期后,继续增加独一激活量对重建与可解释性提升有限。建议在达到质量平台期后复用缓冲区,可显著降低存储开销。
来源:arXiv · ML · arxiv.org