跳到正文
arXiv · ML· Longwei Zou, Lin Zhong·· 14 天前AI 评分30

KVBuffer:线性注意力IO感知服务机制

KVBuffer: IO-aware Serving for Linear Attention

AI 导读

针对线性注意力长上下文推理中状态更新导致的内存访问瓶颈,提出IO感知服务机制KVBuffer。该机制通过缓存键值对实现批量解码、并行验证投机解码及短上下文直接计算。 KVBuffer已在SGLang中实现,支持Qwen3.5和Nemotron-3系列模型,使批量解码速度提升最高1.47倍,投机解码最大服务请求量增加5倍。

来源:arXiv · ML · arxiv.org