arXiv · ML· Jiakun Fan, Min Xiao, Qiang Wang, Neiwen Ling, Zhichao Liu, Zhihao Jia, Dimitrios S. Nikolopoulos, Zijun Wei·· 6 小时前AI 评分35
DScout 利用分解引导训练与推理优化扩散推测解码
Factorization-Guided Training and Inference for Diffusion-Drafted Speculative Decoding
AI 导读
DScout 通过两种互补的分解方法优化扩散起草器的训练与推理，在 Qwen3-4B 和 Qwen3-8B 上实现 3.84 倍和 4.14 倍平均加速。 其训练将位置损失分解为包含、加权与预测损失，推理则将吞吐量分解为 MAT 与单轮延迟之比。 该方法较最先进基线提升 9.1% 和 7.1% 平均加速，配置策略最多额外带来 9.75% 提升。
来源：arXiv · ML · arxiv.org