arXiv · AI· Yiren Zhao, Guanghui Song, Tianrui Qin, Kejiang Ye, Cheng-zhong Xu, Xitong Gao·· 2026-10-05AI 评分37
iS-KV:基于块增量 SVD 的在线低秩 KV 缓存压缩方法
iS-KV: Online Low-Rank KV Cache Compression via Block-Incremental SVD
AI 导读
iS-KV 通过在线低秩压缩解决长推理中 KV 缓存增长问题,保留最近窗口精确数据并将旧状态同步至更新基。在 DeepSeek-R1-Distill-Llama-8B 上,该方法在 4.06 倍压缩下取得 82.6% 准确率,接近原模型 83.6%。在 Qwen3-8B 上,其 5.64 倍压缩下准确率达 89.2%,且在匹配内存预算下优于令牌驱逐基线。
来源:arXiv · AI · arxiv.org