跳到正文
Hugging Face Blog·· 17 小时前精选AI 评分88

PyTorch 2.15 发布:MPS 支持 FP8 并大幅提升 LLM 解码速度

MPS in PyTorch 2.15

AI 导读

PyTorch 2.15 在 MPS 后端引入 FP8 支持,并将多项核心算子迁移至 Metal kernel。

推荐理由

M3 Ultra 上 Qwen3.6-35B-A3B 解码速度提升 5.5 倍至 61.3 tokens/s,且视频生成显存占用从 270GB 降至 8GB。

来源:Hugging Face Blog · huggingface.co