Hugging Face Blog·· 17 小时前精选AI 评分88
PyTorch 2.15 发布:MPS 支持 FP8 并大幅提升 LLM 解码速度
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 在 MPS 后端引入 FP8 支持,并将多项核心算子迁移至 Metal kernel。
推荐理由
M3 Ultra 上 Qwen3.6-35B-A3B 解码速度提升 5.5 倍至 61.3 tokens/s,且视频生成显存占用从 270GB 降至 8GB。
来源:Hugging Face Blog · huggingface.co