使用 Optimum 和 Transformers pipelines 加速推理教程
Hugging Face 开源库 Optimum 1.2 新增推理与 transformers pipelines 支持，开发者可直接将 AutoModelForXxx 类替换为 ORTModelForXxx 类并在 ONNX Runtime 上运行。
推荐理由：通过加速问答模型的全流程实操，展示了如何将优化方法迁移至现有的 BERT 级 NLP 任务。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
81 条精选近 30 天 53 条共收录 1,232 条
更新
精选归档 · 第 5 页
Hugging Face Blog精选AI 评分6262