Hugging Face Blog·· 2023-04-17AI 评分43
Hugging Face Transformers 在 AWS Inferentia2 上的性能加速
Accelerating Hugging Face Transformers with AWS Inferentia2
AI 导读
AWS Inferentia2 推理加速器使 Hugging Face Transformers 的延迟平均降低 4.5 倍,吞吐量提升 4 倍,超越了 NVIDIA A10G GPU 和 Inferentia1 的性能。
来源:Hugging Face Blog · huggingface.co