跳到正文
Hacker News AI· vforno·· 8 小时前AI 评分58

Lumabri 发布:纯 C 实现的多机本地 AI 模型分布式推理工具

Show HN: Lumabri – Run large AI models across your computers and servers.Pure C

AI 导读

Lumabri 是一个纯 C 编写的开源工具,允许在局域网内的多台计算机上运行大型 AI 模型的私有推理服务。它通过 Colibri 引擎将模型权重按层分配给不同节点,避免每台机器加载完整模型,支持通过终端或本地 Web 页面聊天,并提供了显式的内存预算控制和捐赠者审批机制。

来源:Hacker News AI · github.com