arXiv · NLP· Fengfeng Liang, Yuechen Zhang, Jiaya Jia·· 8 小时前AI 评分23
Block-GTQ: 基于 RoPE 块率分配的 KV 缓存量化框架
Block-GTQ: RoPE-Block Rate Allocation for KV-Cache Quantization
AI 导读
Block-GTQ 利用 RoPE 频率块分配缓存精度，在 10 种模型配置中将 K-only 诊断的平均 logit MAE 降低约 32-80%。 该框架支持打包缓存注意力，无需实例化 fp16 KV 缓存，并显著改善长文本基准测试性能。 在 Llama-3.1-8B 上 K2V2 配置使 NIAH 平均分从 70.6 提升至 97.4，LongBench-EN 从 33.7 升至 44.9。
来源：arXiv · NLP · arxiv.org