arXiv · AI· Swapnil Gandhi, Siva Kumar Sastry Hari, William J. Dally, Christos Kozyrakis·· 8 小时前AI 评分29
PACE 提出按步准入控制器，将 LLM 服务中的分支并行视为机会性宽度，在 Qwen3-32B 上较无分支并行提升 1.77 倍 goodput。
Pacing Branch Parallelism in LLM Serving
AI 导读
该机制基于共享 KV cache 解耦计算与内存，在五个模型（最大 671B 参数）上实现 1.72–2.15 倍增益，保持 99% SLO。
来源：arXiv · AI · arxiv.org