Hugging Face Blog·· 2024-01-15AI 评分33
利用 ONNX Runtime 和 Olive 加速 SD Turbo 和 SDXL Turbo 推理
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive
AI 导读
ONNX Runtime 结合 Olive 工具显著加速了 SD Turbo 和 SDXL Turbo 的推理性能。在 NVIDIA GPU 上,ONNX Runtime 吞吐量最高比 PyTorch 提升 229%(SDXL Turbo)和 120%(SD Turbo)。该方案支持 C# 和 Java,模型优化版本已在 Hugging Face 开放。
来源:Hugging Face Blog · huggingface.co