Hacker News LLM· iLuddite·· 1 小时前同新闻AI 评分80
llm-d 发布 v1.0 版本:面向分布式推理的成熟度升级
llm-d v1.0: State-of-the-art inference
AI 导读
llm-d 发布 v1.0 版本,引入多租户服务质量管理、零停机升级和 Agent 感知服务功能,支持 NVIDIA、AMD、Intel 及 Google TPU 等加速器。版本提供稳定的 v1 配置 API 和会话级上下文路由,已应用于 Google Cloud、AWS 等超过 25 个组织的生产环境。
同一新闻,精选展示《Google 联合社区发布开源分布式推理栈 LLM-d 1.0》
来源:Hacker News LLM · llm-d.ai