跳到正文
Hacker News LLM· Anon84·· 2026-10-10AI 评分58

利用 vLLM 在 NVIDIA DGX Spark 上实现大规模本地 LLM 推理

Local LLM Inference at Scale with vLLM

AI 导读

本文基于 NVIDIA DGX Spark 硬件,演示了如何使用 vLLM 引擎处理 2,000 篇 OpenAlex 摘要。实验显示 Qwen3.5-35B-A3B 模型在 256 个并发请求下吞吐量达 284 tokens/s,利用 PagedAttention 和自动前缀缓存,处理耗时仅 8 分钟。

来源:Hacker News LLM · data4sci.substack.com