跳到正文
arXiv · AI· Kartik Ramesh, Kaidi Fu, Zihan Zheng, Jiahuan Yu, Fabio Oliveira, Carlos Costa, Minjia Zhang·· 2026-10-07AI 评分20

FluidPD 通过原地弹性实现感知 SLO 的 LLM Prefill-Decode 分离服务

FluidPD: In-Place Elasticity for SLO-Aware Prefill-Decode Disaggregated LLM Serving

AI 导读

summary_zh: FluidPD 是一种 P/D 分离服务系统,通过 FluidToken 和 FluidRole 机制提供感知 SLO 的原地弹性,将 Azure 生产负载下的 SLO 达成率较静态 SGLang 最高提升 94.6 个百分点。

来源:arXiv · AI · arxiv.org