跳到正文
arXiv · NLP· Zhengmian Hu, Tong Zheng, Vignesh Viswanathan, Ziyi Chen, Ryan A. Rossi, Yihan Wu, Dinesh Manocha, Heng Huang·· 17 小时前AI 评分36

迈向最优多草稿推测解码

Towards Optimal Multi-draft Speculative Decoding

AI 导读

本文提出基于最优传输对偶问题的高效算法,计算多草稿推测解码(MDSD)在千级词表下的理论最优接受率。 研究首次量化现有验证算法与理论上限的差距,发现无放回采样的最优接受率优于有放回采样,且现有算法均未达到理论上限。 结果表明精心设计的草稿采样方法可提升接受率,并为逼近理论上限的验证算法开发提供方向。

来源:arXiv · NLP · arxiv.org