Hacker News LLM· ggeorgovassilis·· 2026-10-08AI 评分41
LLM-gauze 网关自动修复本地 LLM 错误与异常响应
LLM-gauze fixes LLM errors
AI 导读
LLM-gauze 是一款部署在本地 LLM 前的 HTTP 网关,自动修复瞬时错误、死循环、空响应及上下文溢出。 它通过日志记录所有交互,并在客户端接收前完成重试、清理思考标签及修复格式错误的工具调用。 支持 Docker Compose 部署,暴露 OpenAI 兼容 API,并提供 Prometheus 格式的运行指标。
来源:Hacker News LLM · github.com