跳到正文
arXiv · ML· Teresa Delgado, Hugo Hazard, Martin Benfeghoul, Jun Wang, Zafeirios Fountas·· 14 天前AI 评分35

LowRAM:测试时组合 KV 缓存压缩的低秩键与摊销值方法

LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time

AI 导读

LowRAM 提出一种非对称 KV 缓存压缩管线,通过测试时拟合轻量级逐头预测器实现值缓存摊销,达到 4 倍近无损值压缩。该方法结合跨层低秩键压缩,可将峰值解码吞吐量提升至 5 倍,并与量化及驱逐技术组合,在长上下文下实现 26.9 倍压缩且保持 94.5% 基线性能。

来源:arXiv · ML · arxiv.org