跳到正文
arXiv · AI· Ekagra Ranjan, Bharat Venkitesh·· 8 小时前AI 评分31

Hybrid Spark:自适应推测解码框架,允许内容自主选择起草器

Hybrid Spark: Adaptive Speculative Decoding That Lets the Content Choose the Drafter

AI 导读

Hybrid Spark 提出结合模型型与非模型型起草器的推测解码框架,在 vLLM 中实现代码编辑场景 1.10–1.62 倍输出吞吐量提升。 该方法引入每个验证草稿 token 的价格机制,在温度 0 的聊天场景中保持 0.97–1.01 倍基准性能,支持单部署服务多种负载。

来源:arXiv · AI · arxiv.org