arXiv · AI· Ales Kubicek, Andrea Caciolai, Liangzu Peng, Sukrit Sumant, Benjamin Hoover, Fraser Greenlee, Ruairidh M. Battleday, Radim Urban, Torsten Hoefler, James C. R. Whittington·· 4 小时前AI 评分34
Latent Sparse Attention: 迈向亚二次方超上下文注意力
Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
AI 导读
LSA 通过潜在空间分层聚类 Keys，解决了超 1M token 场景下全注意力成本过高及稀疏注意力精度下降的问题。 GLM-5.3-FLASH 和 QWEN-3.8-27B 在 10M token 下，D-LSA Prefill 加速 22.7x；N-LSA 在 128k token 下训练加速 1.6x 且精度匹配全注意力。
来源：arXiv · AI · arxiv.org