跳到正文
3月23日周二
3月18日周四
3月12日周五
3月9日周二
2月25日周四
2月10日周三
2月9日周二
1月26日周二
1月19日周二
1月18日周一
11月9日周一
  1. Hugging Face Blog30

    Hugging Face 教程:利用预训练语言模型检查点初始化 Encoder-Decoder 模型

    Hugging Face 发布教程详解如何利用 BERT、GPT2 等预训练检查点初始化 encoder-decoder 模型,跳过高昂的预训练阶段。Rothe 等人证明这种 warm-starting 方法在序列到序列任务上能以极低训练成本达到 T5 等模型的可比性能。教程包含理论分析、任务适配性及使用 Transformers 框架的完整代码示例。

11月3日周二
11月2日周一
10月10日周六
  1. Hugging Face Blog55

    Transformer 编码器解码器模型详解

    Hugging Face 发布教程,详细解析基于 Transformer 的编码器解码器架构在序列到序列任务中的推断机制。文章将模型拆解为编码器与解码器两部分,利用 MarianMT 模型展示了双向自注意力如何实现上下文依赖,以及单向自注意力和交叉注意力如何生成条件概率分布。

9月10日周四
7月3日周五
  1. Hugging Face Blog62

    Hugging Face 深入解析 Reformer 长序列建模的内存优化技术

    Hugging Face 官方博客通过公式推导和基准测试,详细解释了 Reformer 模型如何在低于 8GB 内存限制下处理 50 万 token 序列。文章重点剖析了 LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四种核心技术,展示了它们分别如何降低 O(n^2) 内存复杂性和训练时的激活存储压力。

    推荐理由:原文拆解了 Reformer 四大内存优化组件,并给出基准测试数据,帮助读者理解长序列模型的工程实现取舍。

3月1日周日
  1. Hugging Face Blog55

    Transformers 中语言生成解码方法详解:贪心、束搜索与采样策略

    Hugging Face 发布教程详解 Transformers 库中语言生成的解码方法。文章通过代码示例演示了贪心搜索、束搜索、随机采样、Temperature 调节、Top-k 及 Top-p(Nucleus)采样的实现方式。指出 Top-k 和 Top-p 采样在开放式语言生成中通常比贪心和束搜索能产生更连贯的文本,并建议根据具体使用场景选择最优解码策略。

2月14日周五