跳到正文
arXiv · ML· Zihan Teng, Jiayu Zhao, Wentao Ren, Minhao Fan, Tianrui Ma, Song Chen, Weichen Liu·· 2026-10-05AI 评分25

SlimKV:无需重建的联合 Token-特征 KV 缓存压缩与信标注意力

SlimKV: Joint Token-Feature KV Cache Compression with Reconstruction-Free Beacon Attention

AI 导读

SlimKV 提出一种联合 Token-特征 KV 缓存压缩方法,通过低秩感知训练将长上下文压缩为隐式 KV 表示,并利用位置不对称性实现解码时潜在空间注意力。

来源:arXiv · ML · arxiv.org