跳到正文
arXiv · AI· Kevin Bhimani, Christian Escobar, Daniel Mihovch, Rudolf Eigenmann, Sunita Chandrasekaran·· 3 天前AI 评分35

桌面级 NVIDIA Grace Blackwell 集群上的 LLM 推理基准测试

Benchmarking LLM Inference on Desktop-Scale NVIDIA Grace Blackwell Clusters

AI 导读

基准测试显示,在双 NVIDIA DGX Spark GB10 系统上,使用 vLLM 进行张量并行(TP=2)可使峰值吞吐量中位数提升 1.59 倍,优于流水线并行(PP=2)的 1.39 倍增益。

来源:arXiv · AI · arxiv.org