跳到正文
arXiv · NLP· Zhiyun Shi·· 2026-10-09AI 评分37

Attic-KV:一种通过定向“排练”提升KV缓存压缩效率的训练无关方法

Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read

AI 导读

summary_zh: Attic-KV提出一种训练无关的KV缓存压缩方法,通过让模型自问自答来“排练”即将读取的内容,而非重读全部上下文。 该方法在RULER和LongBench基准上表现优于重读法,在3%保留率下相比全量重读提升41.9分,并能提升KVgrad和RestoreKV+的性能。

来源:arXiv · NLP · arxiv.org