跳到正文
arXiv · ML· Fanxu Meng, Taosong Fang·· 2026-10-14AI 评分35

DoSA 通过条件化计算实现无损稀疏注意力加速

DoSA: Dots Sparse Attention

AI 导读

DoSA 提出一种无损稀疏注意力方法,在 GPU 上实现较 SGLang 最高 2.74 倍、较 LiteTopK 1.69 倍的 Indexer 加速。 方法利用种子集与残差界确定筛选阈值,在 GLM-5.2 和 DeepSeek-V3.2 上实现最高 1.94 倍和 1.50 倍首 token 延迟降低。

来源:arXiv · ML · arxiv.org