跳到正文
arXiv · ML· Sasho Nedelkoski, Alexander Acker, Soeren Becker, Dominik Scheinert, Odej Kao·· 2026-10-14AI 评分28

E8 晶格向量量化用于低比特 KV-Cache 压缩

E8 Lattice Key Quantization for Low-Bit KV-Cache Compression

AI 导读

E8 晶格向量量化实现 2-bit 键与 2-bit 值(k2v2)低比特 KV-Cache 压缩,整体压缩比约 6 倍。 该方法在 5 个 LLM 模型族测试中,比标量 k3v2 方法小约 20%,且在 80% 的模型-数据集-上下文设置中困惑度更优,同时解码吞吐量与标量基线持平。 E8 晶格键量化成为长上下文 LLM 推理中扩展质量-内存边界的低开销基础工具。

来源:arXiv · ML · arxiv.org