跳到正文
arXiv · ML· YuXuan Lin, KeQiang Wu, Kingsum Chow·· 24 天前AI 评分31

DualPace:面向 LLM 服务的解耦调度与 GPU-CPU 协同解码

DualPace: Decoupled Scheduling and Cooperative GPU--CPU Decoding for LLM Serving

AI 导读

DualPace 提出将 CPU 侧转为独立调度的解码引擎,在保持同等延迟下,吞吐量较 vLLM 提升 11.5%–90.6%。 该运行时通过分离 GPU 与 AMX 加速 CPU 引擎的调度权限实现协同,同时在同等 P99 ITL 下维持较 NEO 高 7.3%–50.5% 的请求速率。

来源:arXiv · ML · arxiv.org