量子位· 思邈·· 2026-10-20AI 评分36
是石科技发布TokenFleet集群调度框架,首Token延迟降低32.4%
首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效
AI 导读
是石科技在2026 CCF全国高性能计算学术大会发布TokenFleet分布式调度框架,聚焦集群调度以提升有效Token产出。该框架在GLM5.3测试中,使P95首Token延迟降低32.4%,达标输出吞吐提高约29.4%。 这一方案通过请求路由、跨机房容量协同和混合负载治理,提高现有算力的有效产出。
来源:量子位 · qbitai.com