arXiv · AI· Shivam Patel, Akaash R. Parthasarathy, Akash Dhasade, Ankur Mallick, Gauri Joshi·· 2026-10-16AI 评分33
Mind the Delay:面向异构 LLM 池的延迟感知查询路由
Mind the Delay: Latency-aware Query Routing for Heterogeneous LLM pools
AI 导读
提出 BEAR 路由系统,协同优化异构 LLM 池的精度、成本与延迟,平均提升 63% 响应效用。 核心组件 BEA 预测器以 0.1ms 耗时在 5% 误差内估算首 token 延迟(TTFT),替代传统队列信号。
来源:arXiv · AI · arxiv.org