跳到正文
Hacker News LLM· matt_d·· 12 小时前AI 评分29

WavePP:基于前缀复用的高吞吐量 LLM 预填充流水线并行运行时

WavePP: High-Throughput Pipeline Parallel LLM Prefill Under Prefix Reuse

AI 导读

WavePP 是在 TensorRT-LLM 上构建的预填充运行时,通过重叠请求接纳与流水线执行,异步查找跨阶段可复用的前缀。 在 GLM 5.2 和 MiniMax M2.7 的 40 种测试设置中,有 37 种提升了吞吐量;在高缓存复用、并发度 128 时,吞吐量分别提升 2.91 倍和 2.02 倍。

来源:Hacker News LLM · arxiv.org