Hugging Face 与 Amazon 达成战略合作,简化 SageMaker 训练流程
Hugging Face 宣布与 Amazon 达成战略合作,将 Amazon Web Services 设为首选云提供商。双方推出 Hugging Face Deep Learning Containers (DLCs) 并集成至 Amazon SageMaker,支持 TensorFlow 与 PyTorch 的单卡及多节点集群训练。
Hugging Face 宣布与 Amazon 达成战略合作,将 Amazon Web Services 设为首选云提供商。双方推出 Hugging Face Deep Learning Containers (DLCs) 并集成至 Amazon SageMaker,支持 TensorFlow 与 PyTorch 的单卡及多节点集群训练。
社区成员 Maxence Dominici 展示了将 Hugging Face Transformers 的情感分析管道部署到 Google Cloud 的实践。
本教程展示如何使用 Hugging Face Transformers 库微调 Wav2Vec2 模型,将其应用于英语自动语音识别(ASR)。
Hugging Face 阅读组在 2021 年 2 月聚焦长程注意力,解读了 Longformer、Compressive Transformer、Linformer 和 Performer 四篇论文。
作者基于 Hugging Face 实践经验,提出构建神经网络需先深入分析数据分布与标签平衡,再运行简单基线模型以建立合理对比基准。随后通过过拟合小批量数据(如 16 个样本)并移除正则化,若损失值未降至 0,则提示实现存在错误,以此高效定位代码中的潜在 Bug。
Anyscale 团队将 Ray 集成至 Huggingface Transformers 的 RAG 模型中,用于分布式文档检索。该实现相比 torch.distributed 将单次检索速度提升 2 倍,并解决了同步瓶颈与 PyTorch 依赖限制。在 2 至 4 GPU 训练场景下,Ray 方案的检索耗时显著低于基线,提升了多 GPU 微调的扩展性。
Hugging Face 宣布其库已支持通过 PyTorch/XLA 在 Cloud TPU 上训练模型,用户可保持原有 Trainer 接口不变。该集成利用 PyTorch 与 TPU 团队的合作成果,允许用户在 TPU 上运行和扩展模型,同时提供性能基准测试和训练示例。
Hugging Face 发布的 Transformers v4.2.0 显著提升了 BERT 等 TensorFlow 模型的计算性能,在 GPU 环境下较 Google 官方实现快约 10%,且比 v4.1.1 快两倍。
Hugging Face 将 DeepSpeed 和 FairScale 的 ZeRO 特性引入 transformers 训练器,支持通过 --sharded_ddp 和 --deepspeed 参数降低显存占用。
Hugging Face 通过组合优化技术与硬件针对性编译,实现 Transformer 模型推理速度提升 100 倍。 首先利用 🤗 Transformers 与 🤗 Tokenizers 库的高级特性实现 10 倍加速,重点优化 Tokenization 瓶颈并减少注意力矩阵计算维度。
Hugging Face 发布教程详解如何利用 BERT、GPT2 等预训练检查点初始化 encoder-decoder 模型,跳过高昂的预训练阶段。Rothe 等人证明这种 warm-starting 方法在序列到序列任务上能以极低训练成本达到 T5 等模型的可比性能。教程包含理论分析、任务适配性及使用 Transformers 框架的完整代码示例。
Stas Bekman 记录将 fairseq wmt19 翻译系统完整移植到 transformers 库的过程。他使用 en-ru 和 ru-en 模型作为切入点,通过编写转换脚本将 PyTorch 权重转为 transformers 支持格式。最终实现了包含 FSMT 配置、模型架构及分词器在内的完整代码支持。
Hugging Face Transformers 3.1 与 Ray Tune 集成,简化大语言模型超参数调优。实验显示,Population-based Training 在 BERT 上取得 78% 最佳验证准确率,优于网格搜索。用户仅需几行代码即可调用 Ray Tune 算法进行微调。
Hugging Face 发布教程,详细解析基于 Transformer 的编码器解码器架构在序列到序列任务中的推断机制。文章将模型拆解为编码器与解码器两部分,利用 MarianMT 模型展示了双向自注意力如何实现上下文依赖,以及单向自注意力和交叉注意力如何生成条件概率分布。
Hugging Face 发布 pytorch_block_sparse 扩展,提供 BlockSparseLinear 模块以支持块稀疏矩阵计算,使神经网络更小更快。
Hugging Face 官方博客通过公式推导和基准测试,详细解释了 Reformer 模型如何在低于 8GB 内存限制下处理 50 万 token 序列。文章重点剖析了 LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四种核心技术,展示了它们分别如何降低 O(n^2) 内存复杂性和训练时的激活存储压力。
推荐理由:原文拆解了 Reformer 四大内存优化组件,并给出基准测试数据,帮助读者理解长序列模型的工程实现取舍。
Hugging Face 发布教程详解 Transformers 库中语言生成的解码方法。文章通过代码示例演示了贪心搜索、束搜索、随机采样、Temperature 调节、Top-k 及 Top-p(Nucleus)采样的实现方式。指出 Top-k 和 Top-p 采样在开放式语言生成中通常比贪心和束搜索能产生更连贯的文本,并建议根据具体使用场景选择最优解码策略。
Hugging Face 发布教程,演示使用 Transformers 和 Tokenizers 库从头训练 84M 参数的小模型 EsperBERTo。该模型在 3GB 的 Esperanto 语料库上预训练,后续针对词性标注任务进行微调。字节级 BPE tokenizer 训练耗时约 5 分钟,编码序列平均长度比 GPT-2 减少约 30%。