Hugging Face Blog·· 2022-08-22AI 评分38
教程:使用 Hugging Face Transformers 与 Habana Gaudi 从零预训练 BERT-base
Pre-Train BERT with Hugging Face Transformers and Habana Gaudi
AI 导读
本教程演示如何利用 Hugging Face Transformers、Optimum Habana 和 Datasets 库,在 AWS 的 Habana Gaudi DL1 实例上通过掩码语言建模从零预训练 BERT-base。教程涵盖了数据集准备、训练新 Tokenizer 以及预处理等步骤,旨在利用 Gaudi 架构的成本性能优势加速模型开发。
来源:Hugging Face Blog · huggingface.co