vLLM 推送式 KV 传输机制提升 LLM 推理 TTFT 与 TPOT

vLLM 引入基于 NIXL 的推送式（push-based）KV 传输机制，将协调与传输设置移出关键路径，降低首 token 时延。 在 Amazon EC2 P5en 实例与 Qwen3-32B 模型上，推送模式较拉取模式最高提升 3 倍 TTFT、30% TPOT；该功能在 AWS Trainium 集群验证后作为加速器无关特性贡献至 vLLM。