跳到正文
Hacker News LLM· bagdaerdev·· 2 天前精选AI 评分78

Mac LLM 计算器:不同 Mac 能运行哪些 LLM 及其速度

Show HN: Which Mac runs which LLM, and how fast

AI 导读

开发者 bagdaerdev 发布了 Mac LLM 计算器,用于计算在 Apple Silicon 上本地运行大模型所需的最低内存和理论生成速度。该工具基于内存带宽公式,指出 Llama 3.3 70B (Q4_K_M) 在 M4 Pro 64GB 机型上预计生成速度为 5.7 tokens/sec。

推荐理由

作者发布了一个本地部署工具,通过公式计算不同 Mac 芯片运行 LLM 的内存占用和生成速度,并指出内存带宽是决定生成速度的关键。

来源:Hacker News LLM · macyou.co