arXiv · ML· Saksham Gupta, Michael Li·· 3 天前AI 评分21
量化草稿 KV Cache 实现内存高效投机解码
Memory-Efficient Speculative Decoding with Quantized Draft KV Cache
AI 导读
研究提出通过量化草稿 KV Cache 降低投机解码的额外内存占用,目标模型缓存保持 BF16 精度以确保最终校正规则不变。 基于 KIVI 原则采用 K4V4 量化方案(key 按通道、value 按 token),在 6 个模型对上将草稿缓存内存减少 66.20%,总内存减少 23.95%,平均接受率仅下降 1.36% 相对值。
来源:arXiv · ML · arxiv.org