跳到正文
arXiv · AI· Hongyao Liu, Liuqun Zhai, Junyi Wang, Zhengru Fang, Jingshu Chen, Jun Huang·· 2026-10-09AI 评分28

SparKV: 面向高效端侧 LLM 推理的开销感知 KV 缓存加载框架

SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference

AI 导读

SparKV 是一个自适应 KV 加载框架,结合云端 KV 流式传输与端侧计算,通过重叠执行路径降低延迟。 实验表明,SparKV 将首 token 时间减少 1.3x 至 5.1x,单请求能耗降低 1.5x 至 3.3x,对响应质量影响可忽略。 该框架展示了在真实世界端侧部署中的鲁棒性和实用性。

来源:arXiv · AI · arxiv.org