arXiv · ML· Jiyun Han, Seongjoon Cho, Seungkyu Choi·· 3 天前AI 评分26
MeltKV:面向长上下文 LLM 的内存对齐 KV 缓存压缩方法
MeltKV: Memory-Aligned KV Cache Compression via Variable-Bit Packed Vector Quantization for Long-Context LLMs
AI 导读
MeltKV 提出内存对齐变比特打包向量量化框架,用于压缩长上下文 LLM 的 KV 缓存。 该框架通过自适应分配分组 Key 通道的比特宽度并共享 Head 级码本,将 KV 表示压缩至 sub-4-bit 至 1 bit 水平。 在可比困惑度下,MeltKV 较 SOTA VQ 方法降低 48.1% 内存使用率和 52.9% 推理延迟。
来源:arXiv · ML · arxiv.org