LoopVQ提出循环Transformer的亚1比特KV缓存量化方法

为缓解循环 Transformer 中 KV 缓存随循环步长线性增长导致的内存瓶颈，Minsoo Cheong 与 Sungjoo Yoo 发布了论文 arXiv:2611.05304。该研究提出了名为 LoopVQ 的方法，专门用于实现低于 1 bit 的 KV 缓存向量量化。 在性能验证方面，该方法在 Ouro 和 Huginn 模型上取得了显著效果。数据显示，LoopVQ 在每元素 0.5 bit 的量化率下能保持较高精度；即便在极端压缩至 0.25 bit 的情况下，结合 TaSQ 技术仍保留了大部分 BF16 的准确率，证明了其在高压缩率下的有效性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。