Hacker News LLM· ffseika0304·· 7 天前AI 评分52
作者开源多上游 LLM 网关 ShanHaiGateway,通过加权轮转与故障隔离将月 200 亿 Token 成本降至 170 元
Show HN: ShanHaiGateway – multi-upstream LLM gateway in Go
AI 导读
作者在 GitHub 开源了 ShanHaiGateway,这是一个用 Go 编写的多上游 LLM 网关,旨在将复杂的模型供应商配置管理转换为标准的 OpenAI 兼容端点。
来源:Hacker News LLM · github.com