MDraft 通过多草稿策略提升扩散生成器在推测解码中的接受长度

MDraft 提出一种新的并行生成器蒸馏方法，通过从相同上下文采样多个草稿块并聚合验证器的全词表条件分布，解决了并行生成导致的验证反馈不匹配问题。 该方法仅改变训练过程，保持生成器架构和推理流程不变，可直接替换预检查点使用。 在数学、编码和对话任务上，MDraft 训练的并行生成器比先前蒸馏方法实现了更长的接受草稿长度，提高了推理效率。