arXiv · ML· Lie Li, Wen Li, Junxiao Shen, Jindong Gu, Guosheng Hu·· 21 天前AI 评分35
DWISE 扩散 LLM 调度引擎发布
DWISE: Denoising Workload-Informed Scheduling Engine
AI 导读
扩散 LLM 调度引擎 DWISE 将平均端到端延迟降低 5.4 倍,最高达 14.9 倍,同时保持任务准确率不变。 该引擎基于剩余工作量预测进行调度,解决了 FCFS 与预填充优先策略在 dLLM 中的低效问题。实现已集成于 SGLang,代码将公开发布。
来源:arXiv · ML · arxiv.org