跳到正文
arXiv · NLP· Zaiquan Yang, Fei Wei, Yong Wang, Yudong Han, Yiyu Li, Zhuofan Zong, Gerhard Petrus Hancke, Xiangxiang Chu, Rynson WH Lau·· 2026-10-06AI 评分29

Un-OPD:面向块扩散语言模型的无偏在策略蒸馏框架

Towards Unbiased On-Policy Distillation for Block Diffusion Language Models

AI 导读

Un-OPD 框架提出无偏在策略蒸馏方法,解决块扩散语言模型中因边界错位和内禀优化偏差导致的训练不稳定问题。 该框架引入边界感知步骤过滤策略消除上下文错位解码步,并通过支持再平衡置信度校准缓解过度自信崩溃。 实验表明 Un-OPD 在数学推理和代码生成基准上性能优越,且将训练时间缩短约一半。

来源:arXiv · NLP · arxiv.org