arXiv · ML· Seo Hyun Kim, Sunwoo Hong, Younwoo Choi, Chen-Hao Chao, Se-Young Yun, Rahul G. Krishnan·· 2026-10-05AI 评分33
Pivot-SD:掩码扩散语言模型的高效自蒸馏框架
Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
AI 导读
研究团队提出 Pivot-SD,一种用于掩码扩散语言模型(dLMs)的高效离线自蒸馏框架。该方法通过信息增益指标筛选高影响承诺点,并使用 200 道题目和每条轨迹 4 次滚动的数据,提升了 LLaDA-8B-Instruct 在数学与代码基准上的表现,效果优于全序列 SFT 和匹配预算的扩散 RL 基线。该论文被 EMNLP 2026 主会接收并设为口头报告。
来源:arXiv · ML · arxiv.org