Hacker News AI· avelone·· 2 天前AI 评分38
Show HN: SHARD – 跨多台电脑分布式 AI 推理
Show HN: Shard – Distributed AI Inference Across Multiple Computers
AI 导读
SHARD 开源分布式本地 LLM 推理引擎通过 UDP 发现和 FastAPI 端点,将局域网内多机 GPU VRAM 与系统 RAM 池化为统一推理集群,支持 7B–70B 模型部署。
来源:Hacker News AI · github.com