跳到正文
arXiv · AI· Zhicheng Zheng, Cheng Zhang, Chenkai Tang, Tianxiang Zhao·· 10 天前AI 评分20

DForkTree:基于分叉感知块扩散草稿树的投机解码加速方法

DForkTree: Accelerating Speculative Decoding with Fork-Aware Block Diffusion Draft Trees

AI 导读

DForkTree 是一种免训练方法,通过重新锚定分支并使用点互信息优化草稿树,在 Qwen3.5-4B 和 9B 模型上实现最快解码速度。 该方法比 DFlash 快 41.5%,比 DDTree 快 15.1%,平均加速比最高达 4.75 倍。

来源:arXiv · AI · arxiv.org