跳到正文
Hugging Face Blog·· 2025-06-12AI 评分38

长提示词如何阻塞请求队列:LLM性能优化策略

How Long Prompts Block Other Requests - Optimizing LLM Performance

AI 导读

长提示词在默认vLLM策略中串行处理,阻塞后续请求首个token生成。vLLM更新允许并行预填充但限制长提示并发数,显著降低短请求的time-to-first-token,但无法消除并发预填充对正在解码请求造成的速度干扰。

来源:Hugging Face Blog · huggingface.co