跳到正文
arXiv · ML· Chanryeol Lee, Chanhyuk Lee, Yeonwoo Choi, Donggyun Kim, Seunghoon Hong·· 2026-10-14AI 评分29

PatchKV:通过权重空间补偿优化 KV 缓存压缩

PatchKV: Weight-Space Compensation of KV Cache

AI 导读

PatchKV 提出一种无需训练的框架,通过计算上下文特定的权重补丁,在保持推理成本不变的前提下提升 KV 缓存压缩效果。 该权重补丁基于岭回归以闭式解形式生成,将部分上下文信息编码至模型权重中,使长上下文问答和数学任务在激进压缩预算下性能显著改善。

来源:arXiv · ML · arxiv.org