arXiv · NLP· Zhaohui Zheng, Chenhang He, Jinrui Zhang, Ming-Ming Cheng, Lei Zhang·· 2026-10-14AI 评分37
HaloBlock:面向扩散大语言模型的更快更优解码机制
HaloBlock: Faster and Better Decoding for Diffusion Large Language Models
AI 导读
针对扩散大语言模型解码难且边界上下文不连续的问题,HaloBlock 提出难度感知的自适应 halo 机制。 通过双向累计熵表征难度,在块两侧自适应分配 halo 区域,提升生成质量与推理效率。 在 LLaDA-8B-Instruct 等模型上,该机制在数学推理和代码生成基准测试中实现精度提升和效率增强。
来源:arXiv · NLP · arxiv.org