跳到正文
Hacker News LLM· samber·· 27 天前AI 评分70

llm-d 发布 v1.0.0 稳定版

LLM-d v1.0.0 is out

AI 导读

llm-d 项目发布了 v1.0.0 稳定版本,引入了多租户服务质量控制、零停机运维以及智能体感知服务功能。该版本整合了流控配置,支持通过优先级和公平性感知流控处理突发工作负载,并提供了路由器高可用与热备机制以支持安全滚动更新。此外,v1.0.0 将所有组件版本对齐,弃用了自研推理镜像构建,并集成了 ai-dynamo/modelexpress 等生态组件。

来源:Hacker News LLM · github.com