跳到正文
Hacker News LLM· ffseika0304·· 7 天前AI 评分52

作者开源多上游 LLM 网关 ShanHaiGateway,通过加权轮转与故障隔离将月 200 亿 Token 成本降至 170 元

Show HN: ShanHaiGateway – multi-upstream LLM gateway in Go

AI 导读

作者在 GitHub 开源了 ShanHaiGateway,这是一个用 Go 编写的多上游 LLM 网关,旨在将复杂的模型供应商配置管理转换为标准的 OpenAI 兼容端点。

来源:Hacker News LLM · github.com