跳到正文
arXiv · AI· Huihao Jing, Wenbin Hu, Shaojin Chen, Haochen Shi, Haoyu Huang, Sirui Zhang, Yuxuan Liu, Zhongwei Xie, Haoran Li·· 2026-10-14AI 评分28

RadixFlow:通过解耦前缀匹配与状态就绪,解决混合LLM服务中的执行气泡问题

RadixFlow: Filling Execution Bubbles in Prefix-Cached Hybrid LLM Serving

AI 导读

RadixFlow解耦前缀匹配与状态就绪,消除混合LLM调度中的执行气泡。 在五个混合模型上,该系统将平均延迟降低3%至24%,并减少11%至44%的worker rounds。

来源:arXiv · AI · arxiv.org