arXiv · NLP· Jieyun Deng, Keming Hu, Yanghe Liu, Li Feng·· 2026-10-14AI 评分31
SparPR:面向消费级硬件资源受限 LLM 推理的运行时 KV 缓存恢复机制
SparPR: Runtime KV-Cache Recovery for Resource-Constrained LLM Inference on Consumer Hardware
AI 导读
SparPR 是一种无需修改模型权重或离线训练的运行时 KV 缓存恢复机制,专为解决消费级 GPU 内存带宽瓶颈设计。该机制结合查询感知的 Key 块选择、动态预算控制和按需局部重算,在 RTX 3070 Ti 等消费级硬件上将端到端延迟降低 31%-63%,吞吐量提升 1.4-2.7 倍,使 8k token 任务在 44 分钟内完成。
来源:arXiv · NLP · arxiv.org