跳到正文
arXiv · ML· Xu Yang, Jiapeng Zhang, Zhiwei Zuo, Yuxin Chen, Feiqiang Sun, Chengguang Xu, Feng Jin, Zhuo Tang·· 2026-10-14AI 评分43

AlignPred:结合对齐与预测编码的 KV 缓存压缩

AlignPred: Error-Controlled KV Cache Compression via Alignment and Predictive Coding

AI 导读

研究提出 AlignPred 编解码器,通过局部对齐与预测编码在可控重建误差预算下压缩持久 KV 缓存,相比基准方法在相近误差下占用更少存储空间。 该方案使用误差有界晶格量化残差并进行熵编码,无需学习预测器或大型联合变换。在 SGLang HiCache 集成中,目标 KV 存储减少 42-72%,且解码速度比现有 CPU 编解码器快至少 1.6 倍。

来源:arXiv · ML · arxiv.org