跳到正文
arXiv · ML· Max Zhu, Bohang Sun, Pietro Lio, Jialin Yu·· 2026-10-16AI 评分36

BitSparse: 面向 ReLU 前馈网络的紧凑激活存储方案

BitSparse: Compact Activation Storage for ReLU Feed-Forward Networks

AI 导读

summary_zh: BitSparse 是一种 GPU 驻留的无损压缩格式,专为处理重新出现的稀疏 ReLU 和 ReLU² 激活设计。它通过自定义 Triton 内核将压缩和解重构集成到 autograd 函数中,在缩减激活缓存的同时确保反向传播能精确恢复数据。

来源:arXiv · ML · arxiv.org