跳到正文
Hacker News LLM· agustin018·· 2026-10-13AI 评分23

FastAPI-stream-lease 限制 FastAPI/Starlette 中的 SSE/LLM/WS 并发流

FastAPI-stream-lease – Limit concurrent SSE/LLM streams instead of req/min

AI 导读

FastAPI-stream-lease 通过 Redis 为 FastAPI/Starlette 应用提供分布式并发流租约,同时限制 SSE、LLM token 流和 WebSocket 会话的活跃数量。

来源:Hacker News LLM · github.com