Hacker News LLM· agustin018·· 2026-10-13AI 评分23
FastAPI-stream-lease 限制 FastAPI/Starlette 中的 SSE/LLM/WS 并发流
FastAPI-stream-lease – Limit concurrent SSE/LLM streams instead of req/min
AI 导读
FastAPI-stream-lease 通过 Redis 为 FastAPI/Starlette 应用提供分布式并发流租约,同时限制 SSE、LLM token 流和 WebSocket 会话的活跃数量。
来源:Hacker News LLM · github.com