Hacker News LLM· matt_d·· 3 天前AI 评分41
Evolving Infra:面向智能体自适应的大规模 LLM 推理服务框架
Evolving Infra: Agent-Adaptive LLM Serving at Scale
AI 导读
Evolving Infra 是一个智能体自适应 LLM 推理服务框架,通过解耦计算分配与 KV cache 管理,使节点能在 prefill 和 decode 间高效切换。在最高 256 GB300 GPU 集群上运行 GLM-5.2 和 Kimi K2.6 时,相比 Dynamo,其平均端到端请求延迟降低最多 4.1 倍,P95 TTFT 降低最多 14 倍。该系统已开源。
来源:Hacker News LLM · arxiv.org