Hacker News LLM· ahamez·· 2026-10-12AI 评分52
LLMD 发布支持五大加速器架构的通用 LLM 推理服务器
The Universal LLM Server
AI 导读
LLMD 是 ZML 推出的自包含 LLM 推理服务器,支持 LLaMa、Gemma、Qwen 和 Mistral 模型,并兼容 NVIDIA CUDA、AMD ROCm、Google TPU、Intel oneAPI 及 Apple Metal 五种硬件架构。
来源:Hacker News LLM · zml.ai