arXiv · ML· Yaqi Qiao, Ping He, Songrun Xie, Ayush Barik, Chensong Zhang, Zhengzhong Tu, Fan Lai·· 21 天前AI 评分26
FlashDiff:提升扩散模型服务的自适应区域执行与调度系统
FlashDiff: Efficient Regional Execution and Scheduling for Diffusion Model Serving
AI 导读
扩散模型服务系统 FlashDiff 提出自适应区域执行与调度,降低推理延迟。 该系统将潜变量分解为区域,通过轻量控制器跳过低影响更新,并利用亲和性感知调度器平衡负载。 在图像、视频和音频任务中,其端到端延迟降低 30-97%,吞吐量提升 1.2-2.2 倍。
来源:arXiv · ML · arxiv.org