arXiv · ML· Tianle Zhou, Yang Zhang, Tianyu Wu, Zhuohan Wang, William Nixon, Juncheng Yang·· 17 小时前AI 评分31
LoopKV: 循环感知 KV 缓存压缩用于循环 Transformer 服务
LoopKV: Loop-Aware KV Cache Compression for Serving Looped Transformers
AI 导读
LoopKV 通过离线 profiling 优化循环 Transformer 的 KV 缓存精度分配，在 RTX PRO 6000 上服务 Ouro-1.4B 模型。 该方案存储比统一 4-bit 量化减少 35% KV 内存，在 16K token 长度下吞吐量提升 1.7-2.2 倍且精度无明显下降。
来源：arXiv · ML · arxiv.org