跳到正文
Hacker News LLM· renwujun·· 10 天前AI 评分26

CUDA+ROCm 双后端 LLM 推理支持混合厂商 GPU(最高快 48%)

CUDA+ROCm dual-back ends LLM inference for mixed-vendor GPUs (up to 48% faster)

AI 导读

在 Ryzen AI Max+ 395 搭配 RTX 5090 硬件上,混合 CUDA 与 HIP 后端使 Maya-M 解码速度达到 69.05 tok/s,相比原生 CUDA+CPU 的 36.80 tok/s 提升显著。

来源:Hacker News LLM · github.com