跳到正文
机器之心·· 2026-10-15AI 评分33

EMNLP 2026 | 统一多草稿与块验证的 SpecTr-GBV 加速推测解码

EMNLP 2026 | 大模型推理如何再快一步?SpecTr-GBV统一多草稿与块验证,加速推测解码

AI 导读

研究提出 SpecTr-GBV 框架,通过最优传输统一多草稿与贪心块验证,在推测解码中最大化期望接受长度。 该算法利用条件独立耦合结构,在 DeepSeek-33B/1.3B 配置下实现了更高的 block efficiency 与 speedup ratio。 它展示了仅重新设计验证环节即可利用候选结构,无需改变 draft model 即可进一步降低推理延迟。

来源:机器之心 · mp.weixin.qq.com