Hacker News LLM· ilreb·· 5 小时前精选AI 评分80
Google 联合社区发布开源分布式推理栈 LLM-d 1.0
LLM-d 1.0, an open source stack for distributed inference
AI 导读
Google 在 PyTorch 大会上发布开源项目 LLM-d 1.0，这是一个面向分布式 LLM 推理的 Kubernetes 原生技术栈，旨在解决 Agent 和强化学习（RL）高并发工作流的推理挑战。
推荐理由
原文给出了核心架构和性能数据，读者可以据此判断 Agent 场景下集群推理的新范式。
来源：Hacker News LLM · cloud.google.com