arXiv · NLP· Tianyu Fu, Tengxuan Liu, Ruoxi Wang, Yixin Dong, Yi Ge, Yichen You, Yu Wang·· 2026-10-09AI 评分28
TokenRouter:基于请求中心编程的高效 Token 级 LLM 路由推理系统
TokenRouter: Efficient Serving System for Token-Level LLM Routing
AI 导读
TokenRouter 系统通过 request-centric programming 实现 Token 级 LLM 路由推理,解码吞吐量比现有系统高 2.01-64.15 倍。 该系统为每个 LLM 启动子服务器,并采用基于数学吞吐量模型推导超参数的延迟批处理调度器。 代码已开源,该研究已被 NeurIPS 2026 接收。
来源:arXiv · NLP · arxiv.org