arXiv · ML· Eliezer Shlomi, Eliron Rahimi, Avi Mendelson, Chaim Baskin·· 8 小时前AI 评分40
SPOT：通过提交顺序预测增强扩散语言模型的推测解码
On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction
AI 导读
SPOT 提出通过预测提交顺序来解决扩散语言模型（DLMs）的速度-质量权衡。 该方法使用 0.62M 参数的模型生成候选树，并通过联合噪声匹配验证，将目标模型通过次数减少至多 6.8 倍，吞吐量提升 3.2 倍，且能在六种 DLMs 间迁移。 SPOT 在所有任务和预算设置下均优于校准及无训练起草基线。
来源：arXiv · ML · arxiv.org