跳到正文
arXiv · ML· Ofir Gordon, Lior Dikstein, Paul Balanca, Idan Achituve, Douglas Orr, Hai Victor Habi·· 3 天前AI 评分27

MiSTiQ:面向极端 KV 缓存压缩的微缩放 Trellis 量化

MiSTiQ: MicroScaling Trellis Quantization for Extreme KV Cache Compression

AI 导读

summary_zh: MiSTiQ 是一种结合 Trellis 编码存储与 Microscaling(MX)格式的新型 KV 缓存量化方案,在 Llama3 和 Qwen3 上以约 1.25 有效位/元素实现比基线更低的 WikiText 困惑度和更高的 GSM8K 准确率。

来源:arXiv · ML · arxiv.org