投机解码中目标概率复用的理解与优化

研究指出，在目标概率用于树分配前，通过当前上下文单独计算分布并重新排序首词分支，能比草稿排序提升期望接受率，尤其在小树预算下效果显著。 在单独目标通道与独立起草重叠时，该选择规则解码速度也快于草稿排序。