Hacker News LLM· ekzhang·· 3 小时前AI 评分46
Show HN: Resin,LLM 推理引擎的快速原生调度器
Show HN: Resin, fast native scheduler for LLM inference engines
AI 导读
Resin 是用于构建 LLM 推理系统的 Rust 库,核心为无头 Engine 调度器、KV cache 和 metrics 服务。 作者 12 小时内在 Blackwell GPU 上用它构建了 DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 引擎,性能与 vLLM、SGLang 相当。 Resin 提供 TP、EP 并行和投机解码,但不适合生产环境。
来源:Hacker News LLM · github.com