arXiv · ML· Sara Abdali, Jongwoo Ko, Pashmina Cameron·· 2026-10-07AI 评分33
AttSVD:基于注意力引导 SVD 的提示自适应低秩 KV 缓存压缩方法
AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD
AI 导读
AttSVD 提出基于注意力几何的在线截断 SVD,以低秩方式存储每个 token 的 KV 缓存,在 agentic benchmark 和 LongBench 上性能与 dense cache 相当,KV 缓存内存最高减少 50%。
来源:arXiv · ML · arxiv.org