arXiv · AI· Xindan Zhang, Fei Wang·· 11 天前AI 评分24
LLM 引擎过载下重试留下的问题:vLLM 实验揭示取消机制的局限
Cancellation Is Not Enough: What Retries Leave Behind in an Overloaded LLM Engine
AI 导读
在 vLLM 中,仅传播取消无法解决过载后的重试风暴,过载后送达率仅 12-38%。重试通常比超时早不到 0.5 秒启动预填充,已中止的执行消耗了 79-85% 的提示词 token,且计数器遗漏了三分之一到一半的已计算 token。过载控制应基于重试增加的执行数和客户端实际接收的调用进行判断。
来源:arXiv · AI · arxiv.org