arXiv · NLP· Chumeng Liang, Linxuan Wang, Xinyu Peng, Huabin Liu, XiaoXu Guo, Yuxin Chen, Ge Liu, Guang Lin, Qifan Song, Jianguo Li·· 8 小时前AI 评分34
UBTree: 基于单字模型和双字模型并行树草稿生成以加速推测解码
UBTree: Parallel Tree Drafting via Unigram and Bigram Models for Speculative Decoding
AI 导读
summary_zh: UBTree 提出了一种结合单字提议器与双字选择器的并行推测解码草稿生成器，旨在解决现有并行方法在高熵目标分布下多样性不足的问题。 该方法利用重归一化 KL 目标函数训练选择器，拓宽监督信号以增强树结构中的有效分支。
来源：arXiv · NLP · arxiv.org