Packed-SS提出单次调用自投机解码调度

Yuxiao Chen 和 Changxiao Cai 提出了 Packed-SS，一种结合扩散起草的自推测解码调度方法。该设计允许在单次模型调用中同时完成验证与下一草稿生成，且输入规模随推测宽度线性变化。 理论分析表明，在起草器满足温和单调性假设的前提下，贪心解码场景中 Packed-SS 所需的模型调用次数不超过标准的双调用方法。 实验在 Nemotron 3B/8B 及 SetDLM 1.7B 模型上验证了该方法的有效性。结果显示，在贪心解码模式下，Packed-SS 实现了比两个基线更高的吞吐量及更低的平均墙钟时间。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。