跳到正文
arXiv · AI· Xuan Wang, Zhuanhao Wu, Tingzhu Fang, Xushi Li, Sicheng Zhang, Zhenyu Yang, Feng Liu, Zhaohui Fan, Qiang Xie, Huayi Zou, Yuncong Liu, Zeyu Song, Ke Zhu, Yanjia Zeng, Jingchun Gao, Yan Shi, Kui Luo, Gezi Li, Liangjun Feng, Cheng Li·· 14 天前AI 评分28

FlashOffloading:面向长上下文 LLM 服务的低延迟 KV Cache 卸载架构

FlashOffloading: Low-Latency KV Cache Offloading for Long-Context LLM Serving

AI 导读

FlashOffloading 提出一种基于主机 DRAM 的推理架构,将 LLM 服务中 prefill 和 decode 阶段的 KV cache 完全卸载至主机内存,在 30 ms TPOT SLO 下分别将 GLM-5.2 + MTP3 推测解码的 prefill 吞吐提升 1.38×、decode 吞吐提升 1.91×。

来源:arXiv · AI · arxiv.org