跳到正文
arXiv · ML· Sara Abdali, Jongwoo Ko, Pashmina Cameron·· 2026-10-07AI 评分33

AttSVD:基于注意力引导 SVD 的提示自适应低秩 KV 缓存压缩方法

AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD

AI 导读

AttSVD 提出基于注意力几何的在线截断 SVD,以低秩方式存储每个 token 的 KV 缓存,在 agentic benchmark 和 LongBench 上性能与 dense cache 相当,KV 缓存内存最高减少 50%。

来源:arXiv · ML · arxiv.org