arXiv · NLP· Dor Tsur, Maor Ashkenazi, Maximilian Golub, Peter Hicks, Yaniv Galron, Talor Abramovich, Yoav Miron, Tiyasa Mitra, Bita Darvish Rouhani, Ran Zilberstein·· 3 小时前AI 评分23
RIFT：基于互补可压缩性训练的草稿模型 KV 缓存压缩方法
RIFT: KV Cache Compression for Draft Models with Complementary Compressibility Training
AI 导读
RIFT 提出了一族平衡预填充信息与近期生成令牌的 KV 缓存压缩策略，通过自适应刷新机制降低计算开销。 该策略结合基于稀疏注意力掩码的可压缩性驱动训练，显著提升了草稿模型在压缩缓存下的质量。在 32K 输入、4K 输出且 8K KV 缓存预算下，Qwen3.5-4B 为 Qwen3.5-122B 做推测解码时，保持了超过 98% 的全缓存接受长度。
来源：arXiv · NLP · arxiv.org