跳到正文
Hugging Face Blog·· 2024-01-15AI 评分33

利用 ONNX Runtime 和 Olive 加速 SD Turbo 和 SDXL Turbo 推理

Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive

AI 导读

ONNX Runtime 结合 Olive 工具显著加速了 SD Turbo 和 SDXL Turbo 的推理性能。在 NVIDIA GPU 上,ONNX Runtime 吞吐量最高比 PyTorch 提升 229%(SDXL Turbo)和 120%(SD Turbo)。该方案支持 C# 和 Java,模型优化版本已在 Hugging Face 开放。

来源:Hugging Face Blog · huggingface.co