Hacker News · LLM 新帖(试跑7天)·· 6 天前
QueenMQ 开源发布:解决 LLM 调用阻塞 Kafka 分区问题
Show HN: QueenMQ – slow LLM calls blocked our Kafka partitions, so we built it
AI 导读
Smartness 开源消息中间件 QueenMQ,采用 Rust 编写并基于 Raft 协议,旨在解决 LLM 长耗时调用导致的 Kafka 队头阻塞。该工具支持动态分区与事务,已在其内部完全替代 Kafka,以 Apache 2.0 许可证发布。
来源:Hacker News · LLM 新帖(试跑7天) · news.ycombinator.com