跳到正文
Hacker News LLM· vinhnx·· 2026-10-16AI 评分75

Apple MLX 支持 Mac Studio 集群本地运行近万亿参数 LLM

Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio

AI 导读

Apple 在 Mac Studio 集群上验证了使用 MLX 和 RDMA 本地推理近万亿参数模型 Muse Spark Open 的能力,4 台 M5 Ultra 集群生成速度超过 36 tokens/秒。该方案利用 Thunderbolt 5 低延迟通信驱动,支持 pipeline 和 tensor 并行策略,在 65,536 上下文长度下显著降低首 token 延迟,峰值功耗仅 300W。

来源:Hacker News LLM · machinelearning.apple.com