跳到正文
Hacker News LLM· ggeorgovassilis·· 2026-10-08AI 评分41

LLM-gauze 网关自动修复本地 LLM 错误与异常响应

LLM-gauze fixes LLM errors

AI 导读

LLM-gauze 是一款部署在本地 LLM 前的 HTTP 网关,自动修复瞬时错误、死循环、空响应及上下文溢出。 它通过日志记录所有交互,并在客户端接收前完成重试、清理思考标签及修复格式错误的工具调用。 支持 Docker Compose 部署,暴露 OpenAI 兼容 API,并提供 Prometheus 格式的运行指标。

来源:Hacker News LLM · github.com