arXiv · AI· Yipin Guo, Siddharth Joshi·· 3 天前AI 评分32
SplitZip:用于 LLM 分离式推理的超快速无损 KV 缓存压缩方案
SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving
AI 导读
SplitZip 是一种针对 LLM 分离式推理中 KV 缓存传输瓶颈设计的 GPU 友好型无损压缩器,可在不修改模型执行逻辑的前提下实现位级保真传输。 其利用 KV 激活值中浮点数指数的冗余性,采用校准过的 Top-16 指数码本结合固定长度编码与稀疏逃逸流机制。在 BF16 张量上实现 613.3 GB/s 压缩吞吐,端到端传输速度提升最高 1.32 倍。
来源:arXiv · AI · arxiv.org