arXiv · ML· Jafar Badour, Maurice van Keulen, Elena Mocanu·· 2026-10-06AI 评分34
SNACK 实现 GPU 上真正稀疏神经网络
Beyond Masked Sparsity: SNACK Enables Truly Sparse Neural Networks on GPU
AI 导读
SNACK 提出了一种仅在 GPU 上存储和计算非零连接的真正稀疏层,在 95% 稀疏度下比掩码稠密基线快 7 倍。 该层提供 PyTorch API 和 SNACK-COO 自定义 CUDA kernel,在 90% 稀疏度下训练加速 8 倍,显存使用比稠密层低 72%。 SNACK 已被 NeurIPS 2026 接收,在 GPT-2 上以 99% 稀疏度将推理延迟降低 4.8 倍。
来源:arXiv · ML · arxiv.org