arXiv · ML· Haoyu Huang, Jialiang Kang, Linlin Yang, Xiao Yang, Baochang Zhang·· 9 天前AI 评分36
Mixture 块草稿器实现多未来起草的树验证推测解码
Multi-Future Drafting: Mixture Block Drafters for Tree-Verified Speculative Decoding
AI 导读
Multi-Future Drafting (MFD) 通过引入潜在变量恢复耦合,提出混合 DDTree 验证器。 MFD 在单前向传播中起草 K 个连贯块,使树验证无损选择目标未来。 在 4B 至 27B 参数的 Qwen 模型上,MFD 实现最高 7.8 倍加速。
来源:arXiv · ML · arxiv.org