arXiv · NLP· Xiaocheng Lu, Shuhan Guo, Ziyue Ma, Jie Zhang, Jian Liu, Jingcai Guo, Haoxuan Che, Song Guo·· 10 天前AI 评分33
PACE-dLLM:基于置信度悬崖估计的扩散语言模型弹性块解码
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
AI 导读
研究提出 PACE-dLLM 方法,通过周期性重新拟合置信度悬崖来动态调整解码视界,支持 LLaDA 和 Dream 等扩散语言模型并行解码。 该方法在推理和代码基准测试中取得最优平均准确率,LLaDA 吞吐量提升 5.23 倍,Dream 提升 3.06 倍。 此成果已被 NeurIPS 2026 接收,推进了扩散语言模型在质量与吞吐量之间的帕累托前沿。
来源:arXiv · NLP · arxiv.org