arXiv · AI· Kevin Bhimani, Christian Escobar, Daniel Mihovch, Rudolf Eigenmann, Sunita Chandrasekaran·· 3 天前AI 评分35
桌面级 NVIDIA Grace Blackwell 集群上的 LLM 推理基准测试
Benchmarking LLM Inference on Desktop-Scale NVIDIA Grace Blackwell Clusters
AI 导读
基准测试显示,在双 NVIDIA DGX Spark GB10 系统上,使用 vLLM 进行张量并行(TP=2)可使峰值吞吐量中位数提升 1.59 倍,优于流水线并行(PP=2)的 1.39 倍增益。
来源:arXiv · AI · arxiv.org