arXiv · AI· Huihao Jing, Wenbin Hu, Shaojin Chen, Haochen Shi, Haoyu Huang, Sirui Zhang, Yuxuan Liu, Zhongwei Xie, Haoran Li·· 2026-10-14AI 评分28
RadixFlow:通过解耦前缀匹配与状态就绪,解决混合LLM服务中的执行气泡问题
RadixFlow: Filling Execution Bubbles in Prefix-Cached Hybrid LLM Serving
AI 导读
RadixFlow解耦前缀匹配与状态就绪,消除混合LLM调度中的执行气泡。 在五个混合模型上,该系统将平均延迟降低3%至24%,并减少11%至44%的worker rounds。
来源:arXiv · AI · arxiv.org