Hybrid Spark论文提出自适应推测解码框架

1. 13:00
   arXiv · AI

   Hybrid Spark：自适应推测解码框架，允许内容自主选择起草器

   Hybrid Spark 提出结合模型型与非模型型起草器的推测解码框架，在 vLLM 中实现代码编辑场景 1.10–1.62 倍输出吞吐量提升。 该方法引入每个验证草稿 token 的价格机制，在温度 0 的聊天场景中保持 0.97–1.01 倍基准性能，支持单部署服务多种负载。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。