跳到正文
Hacker News LLM· aliceviola·· 9 天前AI 评分43

QueenMQ 开源:解决 LLM 调用阻塞 Kafka 分区的消息队列

Show HN: QueenMQ – slow LLM calls blocked our Kafka partitions, so we built it

AI 导读

QueenMQ 是一款 Apache-2.0 协议开源的 Rust 消息队列,旨在解决 LLM 慢调用阻塞 Kafka 分区的问题。每个客户、订单或对话拥有独立队列,避免单个慢任务阻塞其他任务。

来源:Hacker News LLM · github.com