跳到正文
Hacker News LLM· SquidJack·· 1 天前AI 评分72

LLMPanel 发布 LLM 自托管部署的开源控制面板

Open source Control Panel for LLM deployment

AI 导读

LLMPanel 发布了一套用于自托管 LLM 推理的开源控制面板,支持用户在本地 GPU 或 RunPod 等云平台上选择模型与算力并获取 OpenAI 兼容接口。该工具内置使用分析与聊天交互环境,提供 vLLM 引擎支持、密钥鉴权管理、多模型图像生成及基于 Qdrant 或本地向量的知识库与 Agent 能力,通过一套 curl 命令即可快速完成部署。

来源:Hacker News LLM · github.com