跳到正文
arXiv · AI· Baoyou Chen, Ruiqiao Mei, Guancong Lin, Tao Song, Weihao Yuan, Qun Liu, Siyu Zhu·· 8 小时前AI 评分40

D3D:面向异步投机解码的解耦扩散起草技术

D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding

AI 导读

D3D 提出了一种独立的扩散起草器,通过结合分块去噪和辅助自回归监督,消除了对目标模型隐状态的依赖,从而实现异步投机解码。 在基于 Qwen3-8B 和 Qwen3-32B 的测试中,D3D 平均分别实现 5.00x 和 5.71x 的解码加速,在 GSM8K 上更是达到 7.48x 的加速。 代码已公开。

来源:arXiv · AI · arxiv.org