跳到正文
arXiv · AI· Serdarcan Dilbaz, Arjun Krishna, Kiran Kamble, Daniel M. Bikel·· 16 天前AI 评分31

DeepSeek 稀疏注意力研究提出多层索引器(MLI)加速长上下文推理

Multi-layer Indexer: Overlapping Selection and Attention in DeepSeek Sparse Attention

AI 导读

针对 DeepSeek-V3.2 和 GLM-5 中索引器扫描占用大量解码时间的瓶颈,提出无需重训的多层索引器(MLI)方案。 该方案利用相邻层选择相似性,让当前层复用上一层索引器结果,使索引器与注意力计算并行,且兼容 SGLang 生产环境。

来源:arXiv · AI · arxiv.org