跳到正文
arXiv · AI· Jinhao Zhang, Zicheng Yan, Boyang Zhang, Zeyu Liu, Daning Cheng, Yunquan Zhang, Guangming Tan, Xiang Gao·· 17 天前AI 评分28

PrismServe 异构加速器集群上高效 LLM 服务系统

PrismServe: Efficient LLM Serving on Heterogeneous Accelerator Clusters

AI 导读

PrismServe 结合请求级协作与量化专家混合,在 48 个三厂商加速器上服务 Qwen3-14B 时,吞吐量达跨节点部署的 2.0-2.6 倍,P99 每 token 时间减少 55-65%。 该系统基于未修改的 vLLM 实现,两级路由器依据预测响应质量选择专家,并按负载和前缀缓存局部性选择副本,在 Qwen3-8B/14B/32B 的 5 个下游任务中精度接近全精度。

来源:arXiv · AI · arxiv.org