跳到正文
Hacker News LLM· 1solomoniw·· 2 天前AI 评分50

Show HN: 用于在 AWS 上部署私有 LLM 栈(Ollama, Open WebUI)的 Terraform 模块

Show HN: Terraform Module for a Private LLM Stack on AWS (Ollama, Open WebUI)

AI 导读

一个生产级 Terraform 模块可在 AWS 上 20 分钟内部署完整的私有 LLM 基础设施,支持 Ollama 和 Open WebUI。 架构集成 Caddy 实现自动 TLS 和基本认证,通过 Docker 隔离服务,并使用加密的 EBS gp3 存储模型权重。

来源:Hacker News LLM · github.com