跳到正文
arXiv · NLP· Tianyu Fu, Tengxuan Liu, Ruoxi Wang, Yixin Dong, Yi Ge, Yichen You, Yu Wang·· 2026-10-09AI 评分28

TokenRouter:基于请求中心编程的高效 Token 级 LLM 路由推理系统

TokenRouter: Efficient Serving System for Token-Level LLM Routing

AI 导读

TokenRouter 系统通过 request-centric programming 实现 Token 级 LLM 路由推理,解码吞吐量比现有系统高 2.01-64.15 倍。 该系统为每个 LLM 启动子服务器,并采用基于数学吞吐量模型推导超参数的延迟批处理调度器。 代码已开源,该研究已被 NeurIPS 2026 接收。

来源:arXiv · NLP · arxiv.org