arXiv · ML· Omin Kwon, Doyeon Kim, Jongseok Park, Seung Yul Lee, Sehoon Kim, Ion Stoica, Jae W. Lee·· 11 小时前AI 评分41
HERALD：基于CPU-GPU协同KV缓存检索的高吞吐块扩散LLM推理方法
HERALD: High-Throughput Block Diffusion LLM Inference via CPU-GPU Cooperative KV Cache Retrieval
AI 导读
HERALD 提出首个支持 KV offloading 的块扩散 LLM 动态稀疏注意力方法，解决长上下文推理瓶颈。 该方法利用块内 KV 子集复用特性隐藏检索延迟，在 K=1024 时相比 MAGE 加速 2.59 倍。 显著提升 decode 吞吐量达 8.38 倍，且精度近乎无损。
来源：arXiv · ML · arxiv.org