Hugging Face Blog·· 2024-02-29AI 评分28
使用 Optimum Habana 在 Intel Gaudi 2 上运行 Llama 2 文本生成
Text-Generation Pipeline on Intel® Gaudi® 2 AI Accelerator
AI 导读
通过 Optimum Habana 的自定义 Pipeline 类,可在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列(7b、13b、70b)模型进行文本生成。该 Pipeline 封装了预处理与后处理,支持通过 Python 脚本调用或集成至 LangChain,仅需少量代码即可实现端到端生成。
来源:Hugging Face Blog · huggingface.co