Hacker News LLM· qalfy·· 2026-10-07AI 评分62
开源工具 Flux:将大语言模型编译到硬件上并运行推理服务
Flux – Compile an LLM to your hardware, then serve it
AI 导读
Flux 是一款用于大语言模型推理的开源规划与运行时工具,会把模型“编译”到本地硬件上:先测量 GPU、CPU 和 NVMe 存储,再在真实 prompt 上为各层与 MoE 专家找到最快放置方案,生成可重复使用的“计划”,并通过 OpenAI 兼容 API 提供服务(flux serve,默认 127.0.0.1:8090)。
来源:Hacker News LLM · github.com