跳到正文
Hacker News LLM· dannyboland·· 5 小时前AI 评分50

Sturnus:基于延迟的 LLM 负载均衡器发布

Show HN: Sturnus, a latency-based LLM load balancer

AI 导读

Sturnus 是一款轻量级 LLM 负载均衡器,通过单一静态二进制文件实现自动延迟路由,无需 Redis 或数据库等外部基础设施。 支持 OpenAI 兼容 API,具备会话亲和性与错误感知路由,请求缓冲区设有内存上限以防 OOM;采用 MIT 许可证,可运行于 Docker 或本地环境。

来源:Hacker News LLM · github.com