Hacker News LLM· bagdaerdev·· 2 天前精选AI 评分78
Mac LLM 计算器:不同 Mac 能运行哪些 LLM 及其速度
Show HN: Which Mac runs which LLM, and how fast
AI 导读
开发者 bagdaerdev 发布了 Mac LLM 计算器,用于计算在 Apple Silicon 上本地运行大模型所需的最低内存和理论生成速度。该工具基于内存带宽公式,指出 Llama 3.3 70B (Q4_K_M) 在 M4 Pro 64GB 机型上预计生成速度为 5.7 tokens/sec。
推荐理由
作者发布了一个本地部署工具,通过公式计算不同 Mac 芯片运行 LLM 的内存占用和生成速度,并指出内存带宽是决定生成速度的关键。
来源:Hacker News LLM · macyou.co