Hacker News LLM· urzil·· 2026-10-13AI 评分59
MDMA:开源联邦式 LLM 推理引擎
MDMA: An open source federated LLM inference engine
AI 导读
MDMA 是一个开源联邦式 LLM 推理引擎,旨在利用用户已有的桌面、笔记本和服务器等异构硬件私有化部署语言模型。该系统支持 CPU、ROCm、Vulkan、Level Zero、CUDA 和 Metal 六种后端,通过 gRPC 和强制 mTLS 实现节点间通信。
来源:Hacker News LLM · github.com