Hugging Face Blog·· 2023-10-04AI 评分27
ONNX Runtime 加速 Hugging Face 平台超 13 万个模型
Accelerating over 130,000 Hugging Face models with ONNX Runtime
AI 导读
Hugging Face 平台超 13 万个支持 ONNX 的模型通过 ONNX Runtime 加速以提升性能。 该工具支持 BERT、GPT2 等 90 多种架构,其中 11 种最流行架构均获支持。以 whisper-tiny 模型为例,使用 ONNX Runtime 推理延迟最高比 PyTorch 降低 74.30%。
来源:Hugging Face Blog · huggingface.co