跳到正文
arXiv · ML· Jin-Fei Qi, Yiduo Li, Jiang-Xin Shi, Kan Liu, Tao Lan, Hanlin Tang, Yu-Feng Li·· 9 天前AI 评分31

ADIndex 通过层自适应稀疏注意力索引和组级蒸馏技术,在保留 DeepSeek-V3.2 和 GLM-5.1 近无损任务性能的同时,实现了显著的效率提升。

ADIndex: Layer-Adaptive Sparse Attention Indexing via Group-Level Distillation

AI 导读

在 256K 上下文长度下,ADIndex 将预填充和解码内核速度分别提升至最高 6.22x 和 3.40x,在 128K 上下文下实现 1.54x 的端到端服务加速。 该技术有效解决了 DeepSeek Sparse Attention 索引器在长上下文推理中占用超过 50% 预填充 GPU 时间的延迟瓶颈。

来源:arXiv · ML · arxiv.org