跳到正文
arXiv · ML· Jiamu Zhang, Hanjie Chen·· 24 天前AI 评分28

BellowsKV 跨层 KV 缓存压缩方法

BellowsKV: One Latent for Many Layers, Expanded on Demand

AI 导读

研究者提出无需训练的 BellowsKV 方法,通过映射相邻层隐藏状态到单一潜变量实现 KV 缓存跨层共享。 在 Llama-3.1-8B、Mistral-7B 和 Qwen2.5-7B 上,BellowsKV-Quant 在 3.6 倍压缩比下保留约 99% 全缓存准确率,13-14 倍压缩下保留 97-98%。 该方法解决了高压缩率下跨层共享缓存精度急剧下降的瓶颈。

来源:arXiv · ML · arxiv.org