arXiv · NLP· Yejin Lee, Hyundong Jin, Yo-Sub Han·· 4 小时前AI 评分41
Balance-Aware Pivot Decoding 用于并行扩散 LLM 解码
Balance-Aware Pivot Selection for Parallel Diffusion LLM Decoding
AI 导读
扩散语言模型实现并行 token 生成，现有基于置信度的方法未考虑 token 位置对剩余解码计划的影响。BPD 结合置信度预填充与基于置信度阈值的中心选择，在 LLaDA 和 Dream 模型上评测了五个基准测试的质量-效率权衡。 BPD 方法通过选择连续掩码区间内的中心 pivot，使解码深度与区间长度呈对数关系，平衡了生成速度与模型质量。
来源：arXiv · NLP · arxiv.org