arXiv · ML· Naiyu Yin, Maosen Tang, Alex Townsend, Yue Yu·· 13 小时前AI 评分26
Rational Sparse Autoencoder
Rational Sparse Autoencoder
AI 导读
Rational Sparse Autoencoder (RSAE) 将固定编码器激活替换为可训练有理函数,在匹配预期稀疏度下证明对 ReLU 及 JumpReLU/TopK 具有重构优势。 在三个开源权重语言模型上验证,RSAE 在同稀疏度下提升重构保真度,仅增加 20 个标量参数。 单次训练耗时 4 至 25 分钟,在单张消费级 GPU 上完成。
来源:arXiv · ML · arxiv.org