arXiv · ML· Xiang Li, Chengting Yu, Jungang Li, Yilun Zheng, Junzhuo Li, Xingyao Zhang, Wenbo Su, Xuming Hu·· 5 小时前AI 评分30
HiLo-RD：用于掩码扩散语言模型的跨预算自蒸馏
HiLo-RD: Cross-Budget Self-Distillation for Masked Diffusion Language Models
AI 导读
提出 HiLo-RD 以改进受限生成预算下的掩码扩散语言模型，通过跨预算自蒸馏解决预算引发的过早承诺问题。 方法将大窗口教师状态与裁剪的小窗口视图配对，匹配已提交位置的隐藏表示，无需外部教师即可指导 token 预测与提交顺序。 在 GSM8K 上准确率提升 9.4 个百分点，平均可读长度缩短约 25%，且在无代码领域训练情况下优势延伸至代码生成。
来源：arXiv · ML · arxiv.org