arXiv · ML· Yishuo Yuan, Shaoyu Yang, Chunrong Fang·· 8 小时前AI 评分20
DolphinRouting：面向解耦 LLM 推理服务的集群级二进制路由方案
DolphinRouting: Cluster-Level Binary Routing for Disaggregated LLM Inference Serving
AI 导读
DolphinRouting 通过端到端 SLO 反馈学习，在解耦 LLM 推理服务中实现集群级二进制路由，降低推理延迟。 路由策略基于原始提示词长度、缓存调整后输入长度及输出长度信息进行请求聚类，通过离线策略搜索为每个簇学习一个本地或远程预填充的二进制动作。
来源：arXiv · ML · arxiv.org