跳到正文
arXiv · ML· Nikita Koriagin, Nikita Balagansky, Daniil Gavrilov·· 14 天前AI 评分44

SAE 训练数据规模定律:Llama-3.1 与 Qwen3 激活存储优化

Scaling Laws for SAE Training Data

AI 导读

研究发现稀疏自编码器(SAE)训练时,激活缓冲区扩大至特定平台期后,继续增加独一激活量对重建与可解释性提升有限。建议在达到质量平台期后复用缓冲区,可显著降低存储开销。

来源:arXiv · ML · arxiv.org