跳到正文
arXiv · NLP· Aidar Myrzakhan, Zhiqiang Shen·· 4 小时前AI 评分32

dSpark:加速扩散语言模型的日程蒸馏框架

Learning When to Commit: Schedule Distillation for Fast Diffusion Language Models

AI 导读

dSpark 框架通过日程蒸馏优化扩散语言模型(dLLM)的 token 提交策略,实现快速生成。 在 GSM8K 任务上,该方法使 LLaDA-8B-Instruct 和 Dream-7B-Instruct 分别获得 10.12 倍和 5.12 倍的速度提升,同时保持优越的任务性能。

来源:arXiv · NLP · arxiv.org