跳到正文
arXiv · AI· Hengrui Zhang, Xupeng Miao·· 13 小时前AI 评分23

SeqoFlow:联合优化语义查询计划与调度的运行时框架

Navigating Runtime Dynamism in Semantic Query Serving

AI 导读

针对 LLM 语义查询中的动态调度难题,框架 SeqoFlow 联合优化执行计划与查询调度。它通过枚举等价计划并利用轻量级推测估计,在批次边界实现计划自适应与查询抢占。实验表明,该方法显著降低了端到端延迟,优于现有语义查询系统。

来源:arXiv · AI · arxiv.org