跳到正文
arXiv · NLP· Shuhao Li, Fanghua Ye, Wanyu Lin, Tianyu Yuan, Xiaoyu Shen·· 2026-10-07AI 评分31

Nucleus Speculative Decoding 提出宽松验证方法以加速推理

Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution

AI 导读

Nucleus Speculative Decoding (NSD) 通过结合目标模型核采样(nucleus)的合理性来放宽验证规则,提升推测解码效率。 该方法能接受属于目标模型 nucleus 的 draft token,从而在保持任务性能的同时增加保留 token 数。实验显示 NSD 相比自回归解码可实现最高 5.16 倍吞吐加速,相比标准推测解码最高达 3.15 倍。

来源:arXiv · NLP · arxiv.org