Hacker News LLM· athrael-soju·· 2026-10-09AI 评分65
Narwhal:支持秒级 GPU 角色切换的自适应 LLM 推理框架
Show HN: Narwhal – LLM serving that moves GPUs between prefill/decode in seconds
AI 导读
Narwhal 是一个自适应、解耦的 LLM 推理框架,能在不重新加载模型权重的前提下,根据负载需求在数秒内自动在 prefill 和 decode 角色之间切换。
来源:Hacker News LLM · github.com