跳到正文
Hacker News AI· avelone·· 2 天前AI 评分38

Show HN: SHARD – 跨多台电脑分布式 AI 推理

Show HN: Shard – Distributed AI Inference Across Multiple Computers

AI 导读

SHARD 开源分布式本地 LLM 推理引擎通过 UDP 发现和 FastAPI 端点,将局域网内多机 GPU VRAM 与系统 RAM 池化为统一推理集群,支持 7B–70B 模型部署。

来源:Hacker News AI · github.com