HERALD提出块扩散LLM动态稀疏注意力
热点事件持续更新
HERALD提出块扩散LLM动态稀疏注意力
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Omin Kwon等人发布论文提出HERALD方法，这是首个支持KV offloading的块扩散LLM动态稀疏注意力方法，旨在解决长上下文推理瓶颈。 该方法利用块内KV子集复用特性隐藏检索延迟，在K=1024时相比MAGE加速2.59倍，显著提升decode吞吐量达8.38倍。 在精度方面，当K=1024时，HERALD在LongBench和四个块扩散LLM的推理任务上实现了相对Dense近乎无损的精度。
AI 根据报道生成 · 3 小时前更新
最新进展11月3日 13:00
HERALD：基于CPU-GPU协同KV缓存检索的高吞吐块扩散LLM推理方法报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · MLHERALD：基于CPU-GPU协同KV缓存检索的高吞吐块扩散LLM推理方法
HERALD 提出首个支持 KV offloading 的块扩散 LLM 动态稀疏注意力方法，解决长上下文推理瓶颈。 该方法利用块内 KV 子集复用特性隐藏检索延迟，在 K=1024 时相比 MAGE 加速 2.59 倍。 显著提升 decode 吞吐量达 8.38 倍，且精度近乎无损。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 811月3日 21:00
- 近 24 小时变化
- –
02468
21:0022:0023:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。