arXiv · AI· Yipin Guo, Arun M George, Siddharth Joshi·· 9 小时前AI 评分25
GAAC：面向个人设备 LLM 推理的无损 KV 压缩方案
GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices
AI 导读
论文提出 GAAC 无损 KV 压缩系统，通过利用 BF16 指数冗余实现 1.405-1.407 倍压缩，且不引入近似误差。 系统支持块级压缩和增量缓存更新，在 NVIDIA DGX Spark 上将 64K 上下文下的解码注意力加速 1.19-1.27 倍，降低 KV 内存占用约 26%。
来源：arXiv · AI · arxiv.org