arXiv · ML· Wen Huang, Jack Liu·· 9 天前AI 评分28
前缀缓存 Agent 服务中的持续性降级:突发流量导致 vLLM 稳定性下降
Bursts That Outlast Themselves: Persistent Degradation in Prefix-Cached Agent Serving
AI 导读
研究表明,vLLM 中轻微突发流量会导致前缀缓存 Agent 服务陷入亚稳态,命中率降至 10%,吞吐量减半,且 70 分钟无法恢复。该现象在 Qwen3-32B 和 SGLang 上复现,无缓存时则不存在。 系统通过限制活跃会话的 KV 驻留需求至内存池容量,并采用无需针对性调参的阈值,成功在所有测试运行中防止了服务崩溃。
来源:arXiv · ML · arxiv.org