arXiv · ML· Xu Yang, Jiapeng Zhang, Zhiwei Zuo, Yuxin Chen, Feiqiang Sun, Chengguang Xu, Feng Jin, Zhuo Tang·· 2026-10-14AI 评分43
AlignPred:结合对齐与预测编码的 KV 缓存压缩
AlignPred: Error-Controlled KV Cache Compression via Alignment and Predictive Coding
AI 导读
研究提出 AlignPred 编解码器,通过局部对齐与预测编码在可控重建误差预算下压缩持久 KV 缓存,相比基准方法在相近误差下占用更少存储空间。 该方案使用误差有界晶格量化残差并进行熵编码,无需学习预测器或大型联合变换。在 SGLang HiCache 集成中,目标 KV 存储减少 42-72%,且解码速度比现有 CPU 编解码器快至少 1.6 倍。
来源:arXiv · ML · arxiv.org