Hacker News LLM· ilreb·· 2026-10-09AI 评分42
TokenRouter:面向 token 级 LLM 路由的 serving 引擎
TokenRouter: A serving engine for token-level LLM routing
AI 导读
TokenRouter 是一个支持 token 级 LLM 路由的 serving 引擎,允许小模型与大模型在单次响应内协作。 该引擎通过独立的 KV cache 和 delayed batching 机制,让每个模型保持独立解码速度,仅在模型间传输 token 后缀和路由状态。
来源:Hacker News LLM · fuvty.github.io