arXiv · ML· Naji Alazhar, Wassel Alazhar·· 2026-10-12AI 评分34
Adaptive DHiSparse:基于负载自适应 KV 层级的推测解码
Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy
AI 导读
Adaptive DHiSparse 支持在层级稀疏 KV 上进行推测解码,并实现负载自适应驻留。 在 100K 上下文与 128 并发下,GLM-5.3 配合 DFlash2 实现 793 输出 tokens/s,达 HiSparse 的 1.45 倍。 该方法在 500K 上下文下将并发提升至 4 倍,并使 DeepSeek-V4.1-Flash 吞吐量达 1.85 倍。
来源:arXiv · ML · arxiv.org