跳到正文
Hacker News LLM· ekzhang·· 3 小时前AI 评分46

Show HN: Resin,LLM 推理引擎的快速原生调度器

Show HN: Resin, fast native scheduler for LLM inference engines

AI 导读

Resin 是用于构建 LLM 推理系统的 Rust 库,核心为无头 Engine 调度器、KV cache 和 metrics 服务。 作者 12 小时内在 Blackwell GPU 上用它构建了 DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 引擎,性能与 vLLM、SGLang 相当。 Resin 提供 TP、EP 并行和投机解码,但不适合生产环境。

来源:Hacker News LLM · github.com