arXiv · AI· Aozhong Zhang, Selcuk Gurses, Yanxia Deng, Naigang Wang, Chi-Chun Liu, Davis Wertheimer, Derrick Liu, Xin Li, Zi Yang, Felix X. -F. Ye, Penghang Yin·· 2026-10-16AI 评分27
DropKV:通过解耦残差输出扰动实现近最优 KV-Cache 驱逐
DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction
AI 导读
DropKV 提出基于解耦残差输出扰动的 KV-Cache 驱逐框架,在三大长上下文 LLM 中验证了锥条件下的常数因子近似保证。 采用融合 Triton kernels 避免生成完整注意力矩阵,评分内核加速 19.8 倍,最高带来 9.9% 的端到端预填充加速。 在 RULER 和 LongBench 基准中表现优于当前最先进的基线,在同等缓存预算下实现最低推理延迟。
来源:arXiv · AI · arxiv.org