arXiv · NLP· Aidar Myrzakhan, Zhiqiang Shen·· 4 小时前AI 评分32
dSpark:加速扩散语言模型的日程蒸馏框架
Learning When to Commit: Schedule Distillation for Fast Diffusion Language Models
AI 导读
dSpark 框架通过日程蒸馏优化扩散语言模型(dLLM)的 token 提交策略,实现快速生成。 在 GSM8K 任务上,该方法使 LLaDA-8B-Instruct 和 Dream-7B-Instruct 分别获得 10.12 倍和 5.12 倍的速度提升,同时保持优越的任务性能。
来源:arXiv · NLP · arxiv.org