Hugging Face Blog·· 2020-10-10AI 评分55
Transformer 编码器解码器模型详解
Transformer-based Encoder-Decoder Models
AI 导读
Hugging Face 发布教程,详细解析基于 Transformer 的编码器解码器架构在序列到序列任务中的推断机制。文章将模型拆解为编码器与解码器两部分,利用 MarianMT 模型展示了双向自注意力如何实现上下文依赖,以及单向自注意力和交叉注意力如何生成条件概率分布。
来源:Hugging Face Blog · huggingface.co