跳到正文
Hacker News LLM· wanderdust·· 2 天前AI 评分36

在 Kubernetes 中部署开放权重 LLM 作为 API

Deploying an Open Weights LLM as an API in Kubernetes

AI 导读

作者在 Kubernetes 中部署 Qwen3.5 4B 模型作为 API,用于测试 Pi 智能体的编码能力。 该模型量化为 4 位,文件 2.7GB,运行于 RTX 2060 的 6GB VRAM 中。 使用 llama.cpp 的 llama-server,通过 K3s 的 HPA 实现自动扩缩容。

来源:Hacker News LLM · pablols.com