Hugging Face Blog·· 2022-12-14精选AI 评分67
Habana Gaudi2 vs Nvidia A100 80GB：模型训练与推理性能对比
Faster Training and Inference: Habana Gaudi®2 vs Nvidia A100 80GB
AI 导读
Habana Gaudi2在BERT预训练、Stable Diffusion推理和T5-3B微调上的吞吐或延迟比Nvidia A100 80GB快约1.8至2.84倍，且支持更大模型微调。测试通过Optimum Habana框架完成，单卡显存为96GB；A100使用fp16，Gaudi使用bf16或fp32。
推荐理由
给出了Gaudi2与A100的逐项吞吐、延迟和参数量对比，读者可以据此判断硬件替代成本。
来源：Hugging Face Blog · huggingface.co