RIFT提出基于互补训练的稀疏KV缓存压缩

2026年10月23日，arXiv发布论文《RIFT：面向草稿模型的稀疏KV缓存压缩与可压缩性训练》，提出了一族结合稀疏注意力掩码与自适应刷新机制的压缩策略，旨在平衡预填充信息与近期生成令牌，降低计算开销。 在压缩缓存下，该方法结合可压缩性驱动训练，显著提升了草稿模型的生成质量。 实验显示，在32K输入、4K输出且8K KV缓存预算的特定条件下，Qwen3.5-4B作为Qwen3.5-122B的草稿模型时，能保持超过98%的全缓存接受长度。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。