arXiv · ML· Shreyas Kulkarni, Uttam Gurram, Madhav Kanda, Krishna Teja Chitty Venkata, Shichu Chen, Kartik Balasubramaniam, Supriyo Chakraborty, Sambit Sahu·· 2026-10-21AI 评分34
DStill:用于加速块扩散推测解码的单步起草轨迹一致性蒸馏
DStill: Trajectory Consistency Distillation for Accelerated One-Step Drafting in Block Diffusion Speculative Decoding
AI 导读
DStill 框架通过蒸馏多步细化轨迹,将单步起草的接受长度提升最高 28%,推理速度提升最高 25%。 该方法利用课程学习策略,从部分掩码到完全掩码逐步训练,使模型在一次传递中完成最终补全。 相比自回归解码,DStill 实现了最高 6.45 倍加速,在三个模型族的推理、数学和代码基准测试中表现优异。
来源:arXiv · ML · arxiv.org