跳到正文
Hugging Face Blog·· 2025-07-09AI 评分42

Hugging Face 与 AMD 合作优化 MI300X 上的 Llama 3.1 405B 推理内核

Creating custom kernels for the AMD MI300

AI 导读

Hugging Face 与 AMD 合作为 MI300X 开发定制开源内核,以加速 VLLM 运行 Llama 3.1 405B FP8 模型的推理性能。通过组合 Fused residual、Fused SwiGLU 和 Skinny GEMM 三个优化内核,在 8 节点 MI300X 上实现了显著的解码延迟降低。

来源:Hugging Face Blog · huggingface.co