Hacker News LLM· joshcsimmons·· 20 小时前AI 评分57
oMLX 0.7.4.dev1 发布:支持双 Mac 加速本地 LLM prefill 至 2.9 倍
OMLX: Use a second Mac to speed up local LLM prefill 2.9x
AI 导读
oMLX 0.7.4.dev1 发布,新增分布式推理功能,允许用户将高 GPU 性能的 Mac(如 M5 Max)作为加速器,为内存较大但 prefill 较慢的 Mac(如 M3 Ultra 512GB)运行大模型提速,64K 提示词 prefill 速度最高提升 2.9 倍。
来源:Hacker News LLM · github.com