跳到正文
Hacker News LLM· athrael-soju·· 2026-10-09AI 评分65

Narwhal:支持秒级 GPU 角色切换的自适应 LLM 推理框架

Show HN: Narwhal – LLM serving that moves GPUs between prefill/decode in seconds

AI 导读

Narwhal 是一个自适应、解耦的 LLM 推理框架,能在不重新加载模型权重的前提下,根据负载需求在数秒内自动在 prefill 和 decode 角色之间切换。

来源:Hacker News LLM · github.com