Hugging Face Blog·· 2021-01-18AI 评分28
Hugging Face 加速 🤗 API 客户 Transformer 推理速度 100 倍
How we sped up transformer inference 100x for 🤗 API customers
AI 导读
Hugging Face 通过组合优化技术与硬件针对性编译,实现 Transformer 模型推理速度提升 100 倍。 首先利用 🤗 Transformers 与 🤗 Tokenizers 库的高级特性实现 10 倍加速,重点优化 Tokenization 瓶颈并减少注意力矩阵计算维度。
来源:Hugging Face Blog · huggingface.co