LoopKV循环感知KV缓存压缩方法发布
热点事件持续更新
LoopKV循环感知KV缓存压缩方法发布
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
Tianle Zhou等团队提出LoopKV方法，通过一次性离线分析为循环Transformer各单元分配存储策略。该方法根据计算需求，为每个单元选择4位存储、2位存储或复用最后一轮KV缓存，实现精度与内存的平衡。在RTX PRO 6000硬件上服务Ouro-1.4B模型时，LoopKV比统一4位量化方案减少35%的KV内存占用。测试显示，在16K token长度下，该方法吞吐量提升1.7至2.2倍，且模型精度无明显下降。
AI 根据报道生成 · 1 小时前更新
最新进展11月4日 13:00
LoopKV: 循环感知 KV 缓存压缩用于循环 Transformer 服务报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · MLLoopKV: 循环感知 KV 缓存压缩用于循环 Transformer 服务
LoopKV 通过离线 profiling 优化循环 Transformer 的 KV 缓存精度分配，在 RTX PRO 6000 上服务 Ouro-1.4B 模型。 该方案存储比统一 4-bit 量化减少 35% KV 内存，在 16K token 长度下吞吐量提升 1.7-2.2 倍且精度无明显下降。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。