跳到正文
arXiv · ML· Yijun Sun, Xudong Liao, Zhuobin Huang, Kai Chen, Nikita Lazarev, Zhizhen Zhong·· 2 天前AI 评分29

XM-Sparse:基于扩展内存池的高吞吐稀疏注意力 LLM 推理系统

XM-Sparse: High-Throughput Sparse-Attention LLM Serving over Scale-up Memory Pools

AI 导读

研究人员提出首个针对 scale-up memory 的稀疏注意力 offloading 系统 XM-Sparse。该系统在 SGLang 框架上实现,利用 TMA 检索与 SM 高效 DMA 预取解决 HBM 容量限制。 在 DeepSeek-V3.2 和 GLM-5.3 模型上,XM-Sparse 解码吞吐量比 PCIe 基线提升最高 4.98 倍,比同平台原生集成提升 1.34 倍。

来源:arXiv · ML · arxiv.org