跳到正文
arXiv · AI· Shivam Patel, Akaash R. Parthasarathy, Akash Dhasade, Ankur Mallick, Gauri Joshi·· 2026-10-16AI 评分33

Mind the Delay:面向异构 LLM 池的延迟感知查询路由

Mind the Delay: Latency-aware Query Routing for Heterogeneous LLM pools

AI 导读

提出 BEAR 路由系统,协同优化异构 LLM 池的精度、成本与延迟,平均提升 63% 响应效用。 核心组件 BEA 预测器以 0.1ms 耗时在 5% 误差内估算首 token 延迟(TTFT),替代传统队列信号。

来源:arXiv · AI · arxiv.org