跳到正文
arXiv · AI· Meng Wei, Yefei Chen, Antong Li, Yanan Gao, Xingliang Shi, Xin Gao, Zhiling Ye, Yun Yue, Chunxiao Guo, Peng Wei·· 10 天前AI 评分29

D-REAL:通过无偏梯度优化投机解码的接受长度

D-REAL: Acceptance-Length Optimization with Unbiased Gradients for Speculative Decoding

AI 导读

D-REAL 提出一种后训练方法,直接优化固定解码上下文下的期望接受长度,旨在提升投机解码效率。 在 Qwen3-8B 目标模型的 10 个基准测试中,D-REAL 将平均接受长度提升至多 0.23 tokens。 该方法使端到端服务吞吐量提升最多 9.4%,并在 DSpark 和 DFlash2 架构上验证有效。

来源:arXiv · AI · arxiv.org