Hugging Face Blog·· 2020-11-09AI 评分30
Hugging Face 教程:利用预训练语言模型检查点初始化 Encoder-Decoder 模型
Leveraging Pre-trained Language Model Checkpoints for Encoder-Decoder Models
AI 导读
Hugging Face 发布教程详解如何利用 BERT、GPT2 等预训练检查点初始化 encoder-decoder 模型,跳过高昂的预训练阶段。Rothe 等人证明这种 warm-starting 方法在序列到序列任务上能以极低训练成本达到 T5 等模型的可比性能。教程包含理论分析、任务适配性及使用 Transformers 框架的完整代码示例。
来源:Hugging Face Blog · huggingface.co