arXiv · NLP· Saw S. Lin (Zhiqi Zhang), Jyh-Shing Roger Jang·· 16 小时前AI 评分30
DominoTree: 结合条件树状草稿与 Domino 的投机解码方法
DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding
AI 导读
DominoTree 通过无训练最优优先树结合因果校正，在温度 0 时于 Qwen3-4B 和 Qwen3-8B 上平均实现 5.33x 至 8.77x 加速。 跨温度测试中比 Domino 快 20-36%，比 CaDDTree 快 11-20%；在 RTX 5090 单卡 SGLang 部署下，批量为 1 时达成 4.83x AR 加速。
来源：arXiv · NLP · arxiv.org