跳到正文
Hugging Face Blog·· 2023-04-17AI 评分43

Hugging Face Transformers 在 AWS Inferentia2 上的性能加速

Accelerating Hugging Face Transformers with AWS Inferentia2

AI 导读

AWS Inferentia2 推理加速器使 Hugging Face Transformers 的延迟平均降低 4.5 倍,吞吐量提升 4 倍,超越了 NVIDIA A10G GPU 和 Inferentia1 的性能。

来源:Hugging Face Blog · huggingface.co