arXiv · ML· Andras Szecsenyi, Thomas L. Lee, Vaisakh Shaj, Elliot J. Crowley, Amos Storkey·· 11 天前AI 评分38
Transformer-FSQ:用于极端 KV-Cache 压缩的离散潜变量
Transformer-FSQ: Discrete Latents for Extreme KV-Cache Compression
AI 导读
提出 Transformer-FSQ 方法,通过有限标量量化瓶颈替换标准 KV 投影,实现极端 KV-Cache 压缩。在 RULER 长上下文检索基准中,该方法在 12× 至 97.5× 压缩率下保持最高精度。 基于 0.25 tokens/参数 的训练量,结合 Triton 融合内核解码,在 Qwen3-8B-Base 上以 97.5× 压缩率达到 1.54× 原生 SDPA 吞吐量。
来源:arXiv · ML · arxiv.org