arXiv · ML· Tomas Ruiz, Zhen Qin, Yifan Zhang, Xuyang Shen, Yiran Zhong, Mengdi Wang·· 4 天前AI 评分20
FlashSampling 提出精确采样原语,通过融合至 LM head 矩阵乘法减少 vLLM 解码延迟
FlashSampling: Fast and Memory-Efficient Exact Sampling
AI 导读
FlashSampling 将精确采样融合进 LM head 矩阵乘法,避免在 HBM 中生成完整 logits 张量,并在 4 种数据中心 GPU 上实现内核级加速。 在张量并行解码中,方法用流式对等写入替代 logits 的 all-gather,支持最多 8 个 GPU 通信与计算重叠,且在 vLLM 端到端测试中每输出 token 时间最多降低 10%。
来源:arXiv · ML · arxiv.org