arXiv · NLP· Jeimin Jeon, Bumsub Ham·· 10 天前AI 评分30
扩散大语言模型 Global Context Guidance (GCG) 方法提出
Global Context Guidance for Diffusion Large Language Models
AI 导读
扩散大语言模型 (Diffusion LLMs) 在去噪过程中往往过度依赖局部上下文而未能充分利用全局上下文。 基于此发现,研究者提出特征空间引导方法 GCG,该方法无需构建显式弱模型即可增强全局上下文利用,在 LLaDA-8B、Dream-7B 和 LLaDA-1.5 等模型上验证,性能优于现有引导方法且推理开销更低。 该方法已被 NeurIPS 2026 接收。
来源:arXiv · NLP · arxiv.org