arXiv · NLP· Jihao Zhao, Qianyu Jiang, Shuaishuai Zu, Pengfei Li, Guanghuan Fang, Ben Feng, Biao Qin, Zhibin Wang, Baochuan Yang·· 2026-10-15AI 评分26
TreeSpark: 通过构建并验证草稿树以优化推测解码的训练框架
TreeSpark: Learning to Draft the Trees You Verify for Speculative Decoding
AI 导读
TreeSpark 是一种统一的训练与推理框架,旨在解决并行 drafter 早期错配导致的接受率瓶颈,基于半自回归 DSpark 架构扩展而来。 该框架通过单次 backbone 推理构建父条件候选树,在训练阶段重放扩展、剪枝和预算打包过程,使用生存负对数似然和覆盖率铰链损失优化。
来源:arXiv · NLP · arxiv.org