arXiv · ML· Chung-En Ho, Weiyu Sun, Cheng-Jhih Shih, He Li, Yong Liu, Yingyan Celine Lin·· 2026-10-06AI 评分25
SpecFold:折叠多分支冗余以加速扩散语言模型的投机解码
SpecFold: Folding Multi-Branch Redundancy for Faster Speculative Decoding in Diffusion Language Models
AI 导读
论文提出 SpecFold 算法,通过识别并折叠多分支投机解码中的计算冗余,降低扩散语言模型(DLLM)的推理成本。 该算法结合算法-系统协同设计,采用 Triton 内核实现高效稀疏执行,与现有投机策略兼容。 在五个模型上,SpecFold 吞吐量最高达 Spiffy 的 1.64 倍、原生解码的 1.99 倍。
来源:arXiv · ML · arxiv.org