Hugging Face Blog·· 2023-04-27AI 评分26
Hugging Face 教程:使用 TensorFlow 和 TPU 训练语言模型
Training a language model with 🤗 Transformers using TensorFlow and TPUs
AI 导读
Hugging Face 发布指南,展示如何使用 TensorFlow 和 TPU 从头训练掩码语言模型。教程涵盖从训练 Unigram 分词器到数据准备及最终模型训练上传的全流程,默认使用 BERT 大小的模型。通过利用 XLA 和 TPUStrategy,大部分 Hugging Face 模型可轻松在 TPU 上运行,无需复杂配置。
来源:Hugging Face Blog · huggingface.co