arXiv · ML· Jaeyong Song, Daniel Wang, Pratyush Patel, Jonny Kong, Preyas Shah, Shobhit Kanaujia·· 9 天前AI 评分29
ForeSpark: 并行推测解码中联合草稿与验证预算调度框架
ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding
AI 导读
ForeSpark 提出保工作量推测(WCS)设计,在 vLLM 上实现原型。 其通过联合分配草稿与验证预算,吞吐量较 DSpark 提升最高 1.77x,较自回归解码提升 2.49x。 该框架在保持延迟 SLO 下,可承受比 DSpark 高 1.51x 的请求速率。
来源:arXiv · ML · arxiv.org