Hacker News LLM· peter_d_sherman·· 2026-10-16AI 评分57
SGLang 开源框架覆盖 LLM 与多模态推理部署
SGLang – High-performance serving framework for LLM's and multimodal models
AI 导读
SGLang 是一个面向 LLM、视觉语言模型和扩散模型的开源推理框架,支持大规模服务与 RL 工作负载。它支持多种 GPU、TPU、NPU 和 Apple Silicon 平台,生态包括 SGLang Diffusion、SGLang Omni 音频模型服务及 SpecForge 推测解码。
来源:Hacker News LLM · github.com