跳到正文
arXiv · ML· Anyuan Zhuo, Shaohua Zhang, Tianle Li, Yuan Lin, Diandian Gu, Jun Wang, Pinyan Lu·· 11 天前AI 评分30

Cross-Layer TopK 动态分配稀疏度以优化 Transcoder 训练

Cross-Layer TopK: Dynamically Allocating Sparsity Across Layers in Transcoders

AI 导读

Cross-Layer TopK 通过设置全局 L0 预算动态分配稀疏度,在 Qwen3-8B-Base 上比 JumpReLU 少用 20% 活跃潜变量,且 FVU 更低。 该方法提升了电路追踪的替换与完整性分数,并支持与稀疏解码结合,使单步训练速度提升 2.9 倍。 已开源该 Transcoder 权重。

来源:arXiv · ML · arxiv.org