arXiv · ML· Yuxiao Chen, Changxiao Cai·· 1 天前AI 评分24
Packed-SS：利用扩散起草实现单次调用的自推测解码
One Call Ahead: Packed Self-Speculative Decoding with Diffusion Drafting
AI 导读
Packed-SS 提出单次调用的自推测解码调度，在验证同时生成下一草稿，输入规模随推测宽度线性变化。 该调度在单调性假设下，贪心解码所需的模型调用次数不超过标准双调用方法。 在 Nemotron 3B/8B 和 SetDLM 1.7B 模型上，Packed-SS 实现了比两个基线更高的吞吐量。
来源：arXiv · ML · arxiv.org