arXiv · NLP· Ephrem Wu·· 13 小时前AI 评分42
块扩散推测解码中 DBloom 方法解决搁置加速并提升生成速度
Ceiling-Clipped Acceptance Histograms Indicate Stranded Speed-up in Block-Diffusion Speculative Decoding
AI 导读
研究提出 DBloom 方法,通过扩展块大小解决块扩散推测解码中的搁置加速瓶颈,显著提升生成速度。 在 Qwen3-8B 和 Qwen3-4B 上,相比 B16 基础模型,该方法将每提示承诺长度最多提高 1.7 tokens,中位解码速度提升 10.2%,高天花板基准上速度提升 11.9%。 该方法优于 JetSpec 树形起草器,在所有基准上承诺长度更高,为块扩散起草器提供更高效的加速方案。
来源:arXiv · NLP · arxiv.org