arXiv · AI· Sahil Joshi, Prithvi Dixit, Aryan Katiyar, Agniva Chowdhury, Joseph E. Gonzalez, Anshumali Shrivastava, Aditya Desai, Kumar Krishna Agrawal·· 4 小时前AI 评分28
Stratified Sparse Attention：在极端稀疏度下缩小稀疏-稠密差距
Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity
AI 导读
在 3B-27B 的 5 个模型上，分层稀疏注意力（SSA）始终优于等稀疏度基线，显著缩小稀疏与稠密注意力的差距。 在 RULER-HARD 上，SSA 在 50 倍稀疏度下将 32K 上下文准确率从 81.8% 提升至 84.2%。 采用优化 CUDA 内核后，SSA 在 1M 上下文的解码速度相比 FlashInfer 快至 2.96 倍。
来源：arXiv · AI · arxiv.org