跳到正文
Hacker News LLM· ahamez·· 2026-10-12AI 评分52

LLMD 发布支持五大加速器架构的通用 LLM 推理服务器

The Universal LLM Server

AI 导读

LLMD 是 ZML 推出的自包含 LLM 推理服务器,支持 LLaMa、Gemma、Qwen 和 Mistral 模型,并兼容 NVIDIA CUDA、AMD ROCm、Google TPU、Intel oneAPI 及 Apple Metal 五种硬件架构。

来源:Hacker News LLM · zml.ai