arXiv · AI· Minsoo Cheong, Sungjoo Yoo·· 8 小时前AI 评分24
LoopVQ：循环 Transformer 中 KV 缓存低于 1 bit 的量化方法
LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers
AI 导读
针对循环 Transformer 中 KV 缓存随循环步长线性增长导致内存瓶颈的问题，LoopVQ 提出一种低于 1 bit 的 KV 缓存向量量化方法，并在 Ouro 和 Huginn 模型上实现 0.5 bit 每元素的精度保持，甚至在 0.25 bit 时结合 TaSQ 仍能保留大部分 BF16 准确率。
来源：arXiv · AI · arxiv.org