arXiv · ML· YuXuan Lin, KeQiang Wu, Kingsum Chow·· 24 天前AI 评分31
DualPace:面向 LLM 服务的解耦调度与 GPU-CPU 协同解码
DualPace: Decoupled Scheduling and Cooperative GPU--CPU Decoding for LLM Serving
AI 导读
DualPace 提出将 CPU 侧转为独立调度的解码引擎,在保持同等延迟下,吞吐量较 vLLM 提升 11.5%–90.6%。 该运行时通过分离 GPU 与 AMX 加速 CPU 引擎的调度权限实现协同,同时在同等 P99 ITL 下维持较 NEO 高 7.3%–50.5% 的请求速率。
来源:arXiv · ML · arxiv.org