FlowMaker：面向任务的成本高效生成式 AI 工作流部署系统

FlowMaker 针对动态负载优化 LLM 工作流部署，将 goodput 提升高达 10.14 倍，成本降低 2.77 倍。 该系统通过约束引导的负载感知剪枝算法，在运行时实时选择包含工作流、模型及配置的最优组合。 相比包括 Murakkab 在内的先进基线，其显著降低了推理成本并提升了吞吐量。