Hacker News LLM· aliceviola·· 9 天前AI 评分43
QueenMQ 开源:解决 LLM 调用阻塞 Kafka 分区的消息队列
Show HN: QueenMQ – slow LLM calls blocked our Kafka partitions, so we built it
AI 导读
QueenMQ 是一款 Apache-2.0 协议开源的 Rust 消息队列,旨在解决 LLM 慢调用阻塞 Kafka 分区的问题。每个客户、订单或对话拥有独立队列,避免单个慢任务阻塞其他任务。
来源:Hacker News LLM · github.com