跳到正文
arXiv · ML· Hanshuai Cui, Qianli Ma, Zhiqing Tang·· 17 天前AI 评分25

Surplus:针对 LLM 语义缓存未用错误预算的优化方案

Semantic Caches for LLM Web Services Leave Their Error Budget Unspent

AI 导读

研究发现现有 LLM 语义缓存(如 vCache)未充分利用错误预算,仅实现 12-55% 的目标误差率 δ。 新方法 Surplus 通过共享风险评分和动态风险桶,在五个查询流中均维持 δ 约束,且比 vCache 多获得 40% 命中。 在 vLLM 测试中,Surplus 在高负载下将平均延迟降低 31.59%,优于 vCache 的 23.67%。

来源:arXiv · ML · arxiv.org