热点事件持续更新

Block-GTQ 量化框架发布：显著改善长文本性能

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

arXiv 新发布论文提出了 Block-GTQ 框架，这是一种基于 RoPE 块率分配的 KV 缓存量化方法。该框架的核心机制是利用 RoPE 频率块来分配缓存精度，支持打包缓存注意力，且无需实例化 fp16 KV 缓存。在 10 种模型配置的 K-only 诊断中，该框架将平均 logit MAE 降低了约 32% 至 80%。在 Llama-3.1-8B 模型上，采用 K2V2 配置时，NIAH 平均分从 70.6 提升至 97.4，LongBench-EN 分数从 33.7 提升至 44.9，显著改善了长文本基准测试性能。

AI 根据报道生成 · 3 小时前更新

最新进展10月30日 12:00

Block-GTQ: 基于 RoPE 块率分配的 KV 缓存量化框架

报道时间线

沿着报道，了解事件的不同侧面。

10月30日

12:00
arXiv · NLP
Block-GTQ: 基于 RoPE 块率分配的 KV 缓存量化框架
Block-GTQ 利用 RoPE 频率块分配缓存精度，在 10 种模型配置中将 K-only 诊断的平均 logit MAE 降低约 32-80%。该框架支持打包缓存注意力，无需实例化 fp16 KV 缓存，并显著改善长文本基准测试性能。在 Llama-3.1-8B 上 K2V2 配置使 NIAH 平均分从 70.6 提升至 97.4，LongBench-EN 从 33.7 升至 44.9。

本事件热度走势

可比范围当前: 8
可比范围峰值: 910月30日 17:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。