跳到正文
arXiv · NLP· Lexington Whalen, Yuki Ito, Ryo Sakamoto·· 15 天前AI 评分35

让扩散模型学会从左到右预测:Speculative Decoding 训练干预分析

Teaching Diffusion to Speculate Left-to-Right

AI 导读

提出三种训练时干预弥合扩散草稿模型双向生成与 LLM 自回归校验的错位,提升推测解码性能。 干预包括 token 位置加权、首个错误 focal loss 及链式损失项,三者正交且可加性组合,无需增加前向传播。 在四个目标模型及六个推理、代码、对话基准测试中,接受草稿长度相比基线提升 21-76%。

来源:arXiv · NLP · arxiv.org