Hugging Face Blog·· 2025-06-12AI 评分38
长提示词如何阻塞请求队列:LLM性能优化策略
How Long Prompts Block Other Requests - Optimizing LLM Performance
AI 导读
长提示词在默认vLLM策略中串行处理,阻塞后续请求首个token生成。vLLM更新允许并行预填充但限制长提示并发数,显著降低短请求的time-to-first-token,但无法消除并发预填充对正在解码请求造成的速度干扰。
来源:Hugging Face Blog · huggingface.co