arXiv · NLP· Jiwon Song, Yoongon Kim, Jae-Joon Kim·· 2026-10-15AI 评分35
Joint Subspace Sparse Attention (JSSA) 实现 128K 上下文下 6.43 倍解码加速
Joint Subspace Sparse Attention for Efficient Long-Context Decoding
AI 导读
JSSA 通过联合子空间稀疏注意力,在 128K 上下文下实现 6.43 倍解码吞吐量提升。 该方法学习共享低维子空间优化排序,并开发无 gather 的 token 级索引注意力内核,支持 GQA 布局。 JSSA 在标准 GQA、混合注意力及 MLA 模型上保持接近全量 KV 精度,700B 规模下达 96-99% 吞吐量。
来源:arXiv · NLP · arxiv.org