数据中心通过查询路由实现电力灵活性

该研究通过查询路由动态分配 LLM 推理任务，在保障服务的同时提供电力需求灵活性，验证误差为 2.8%。 框架涵盖 1B 至 70B 参数模型及四个 GPU 平台，在 10,000 块 H100 集群模拟中实现最高 16% 的电力灵活性，响应时间约 10 秒。 结果显示查询路由是数据中心电力调度的有效机制，框架可应用于更广泛的规划与编排。