跳到正文
arXiv · ML· Jiyun Han, Seongjoon Cho, Seungkyu Choi·· 3 天前AI 评分26

MeltKV:面向长上下文 LLM 的内存对齐 KV 缓存压缩方法

MeltKV: Memory-Aligned KV Cache Compression via Variable-Bit Packed Vector Quantization for Long-Context LLMs

AI 导读

MeltKV 提出内存对齐变比特打包向量量化框架,用于压缩长上下文 LLM 的 KV 缓存。 该框架通过自适应分配分组 Key 通道的比特宽度并共享 Head 级码本,将 KV 表示压缩至 sub-4-bit 至 1 bit 水平。 在可比困惑度下,MeltKV 较 SOTA VQ 方法降低 48.1% 内存使用率和 52.9% 推理延迟。

来源:arXiv · ML · arxiv.org