跳到正文
arXiv · NLP· Jui-Chien Tsou, Hsuan-Chi Liu, Wei-Chin Wang, Yu-Syuan Xu, Chun-Yi Lee·· 2026-10-21AI 评分24

TeCoP:通过试探上下文流水线加速扩散大语言模型解码

TeCoP: Accelerating Diffusion Large Language Model Decoding via Tentative Context Pipelining

AI 导读

TeCoP 是一种免训练的解码器,通过解耦预测承诺与上下文效用,在 4 个 dLLM 上将前向计算减少 87%。 它实现最高 7.50 倍(无 KV cache)或 11.77 倍(有 KV cache)吞吐量,且精度损失控制在 1 个百分点内。 该方法在 12 种模型基准组合中均优于 Fast-dLLM 和 DSB,提升了扩散 LLM 的推理效率。

来源:arXiv · NLP · arxiv.org