arXiv · ML· Javad Mirzaei, Jeebak Mitra·· 2026-10-15AI 评分29
通过并行化扩展 LLM 推理:吞吐量与延迟的权衡
Scaling LLM Inference via Parallelism: Throughput-Latency Trade-off
AI 导读
该论文提出基于吞吐量-延迟权衡的系统框架,用于优化 LLM 推理中的并行化配置。 通过构建 TTFT-ITL 可行集与帕累托前沿,揭示了随工作负载中 prefill 占比增加,最优配置从 TP 主导转向 PP 主导的规律。 框架引入 goodput 指标实现 SLO 感知的并行化选择,并证实长上下文场景下 PP 主导配置具备更优的可扩展性与 SLO 达成率。
来源:arXiv · ML · arxiv.org