Hugging Face Blog 指出 Transformer 架构正成为机器学习通用架构
Transformer 架构已扩展至 NLP 之外,正成为机器学习通用架构,在计算机视觉、语音等领域表现高效。Google Vision Transformer 和 CoAtNet 在 ImageNet 图像分类中创下新基准,且所需计算资源更少。行业正从从零训练模型转向使用现成模型进行微调,以更快交付业务价值。
Transformer 架构已扩展至 NLP 之外,正成为机器学习通用架构,在计算机视觉、语音等领域表现高效。Google Vision Transformer 和 CoAtNet 在 ImageNet 图像分类中创下新基准,且所需计算资源更少。行业正从从零训练模型转向使用现成模型进行微调,以更快交付业务价值。
研究团队使用 RSICD、UCM 和 Sydney 数据集微调了 OpenAI 的 CLIP 模型,以提升其在遥感卫星图像上的性能。该模型支持通过文本查询在大型卫星图像集合中进行搜索,可用于监测气候变化或国土防御。训练过程结合了图像变换和 Marian MT 模型进行文本数据增强,以缓解过拟合并提高模型在零样本场景下的可用性。
Gradio 与 Hugging Face Hub 集成使用户能利用 Inference API 通过几行代码演示模型。Spaces 支持免费托管基于 Python 的机器学习演示应用,创建仓库并选择 Gradio 为 SDK 即可快速部署。该集成支持 Transformers、spaCy 等框架,并可通过 Gradio Series 混合使用不同模型构建复杂演示。
该教程展示了如何利用 Streamlit 在 Hugging Face Spaces 上托管机器学习模型和可视化数据集。通过代码示例,作者演示了如何构建基于 GPT-2 和 XLNet 的“Write with Transformer”交互界面,并集成 hyperparameters 调节。
Hugging Face 推出开源库 Optimum,旨在简化 Transformer 模型在特定硬件上的训练与推理性能优化。该工具包支持与 Intel 等硬件合作伙伴协作,通过集成 Intel Neural Compressor,简化了模型量化、低精度推理部署等复杂流程,帮助工程师更高效地利用硬件加速特性。
Hugging Face 与 Graphcore 宣布合作,推出针对 IPU 优化的 Transformers 模型,支持在 IPU-POD 数据系统中以生产规模部署 BERT 等模型。双方将共同开发基于开源工具 Optimum 的硬件优化模型,预计年内首批上线,覆盖视觉、语音及文本生成应用。
Hugging Face 发布 DeDLOC 方法,通过互联网协作分布训练语言模型。该方法利用 40 名志愿者成功预训练孟加拉语模型 sahajBERT,在下游任务中达到近乎 SOTA 的质量,效果可比拟使用数百台高端加速器的更大模型。
Hugging Face 将 spaCy 纳入其模型库,用户可通过一条命令上传 pipeline 包并生成元数据。Hub 目前提供 60 多个 spaCy 3.1 规范模型,支持命名实体识别(NER)的托管推理 API 及浏览器交互试用。用户还可利用 huggingface-hub 推送功能,将本地模型快速分享至社区。
Hugging Face 发布新的推理 DLCs,允许用户通过一行代码部署训练好的模型,或直接从模型中心选择 10,000+ 个公开模型在 Amazon SageMaker 上进行推理。该工具包利用 transformers 库实现零代码部署,并提供生产级端点支持。
Hugging Face Hub 宣布与 Sentence Transformers v2 集成,在 Hub 中提供覆盖 100 多种语言的 90 多个预训练模型。平台新增 feature-extraction widget 以展示句子嵌入,以及 sentence-similarity widget 用于计算句子相似度,并可通过 Inference API 端点程序化调用模型。
EleutherAI GPT-Neo 结合 Hugging Face 加速推理 API 支持少样本学习,API 提供高达 100 倍推理加速。GPT-Neo (2.7B) 需 3-4 个示例即可实现良好泛化,相比 GPT-3 (175B) 在零样本任务上表现较弱。通过调节温度、最大新 token 数及结束序列等超参数,可控制生成结果,但需注意情感分析等场景可能出现的错误预测风险。
Gradio 2.0 允许通过一行代码加载 Hugging Face 模型并生成 GUI,支持调用托管 Inference API 或本地运行。该版本还支持将多个模型作为组件进行并行比较或串联组合,例如仅用 3 行代码即可构建翻译与摘要应用。
该基准测试基于 Hugging Face transformers v4.5.0、PyTorch 1.8.1 和 TensorFlow 2.4.0,在 AWS c5.metal 实例(Intel Xeon Platinum 8275 CPU)上进行。
Hugging Face 开源 Accelerate 库,让用户在标准 PyTorch 脚本中仅添加 5 行代码即可运行分布式训练和混合精度训练。该工具抽象了多 GPU、TPU 及 SageMaker 等环境的样板代码,提供统一 API 和 accelerate launch 命令行工具简化部署。
Hugging Face 与 Amazon SageMaker 合作推出优化的深度学习容器,支持通过一行代码启动 Transformers 模型训练。
Hugging Face 官方博客发布技术文章,深入解析 BigBird 模型中块稀疏注意力机制的实现原理。
Hugging Face 宣布与 Amazon 达成战略合作,将 Amazon Web Services 设为首选云提供商。双方推出 Hugging Face Deep Learning Containers (DLCs) 并集成至 Amazon SageMaker,支持 TensorFlow 与 PyTorch 的单卡及多节点集群训练。
社区成员 Maxence Dominici 展示了将 Hugging Face Transformers 的情感分析管道部署到 Google Cloud 的实践。
本教程展示如何使用 Hugging Face Transformers 库微调 Wav2Vec2 模型,将其应用于英语自动语音识别(ASR)。
Hugging Face 阅读组在 2021 年 2 月聚焦长程注意力,解读了 Longformer、Compressive Transformer、Linformer 和 Performer 四篇论文。
作者基于 Hugging Face 实践经验,提出构建神经网络需先深入分析数据分布与标签平衡,再运行简单基线模型以建立合理对比基准。随后通过过拟合小批量数据(如 16 个样本)并移除正则化,若损失值未降至 0,则提示实现存在错误,以此高效定位代码中的潜在 Bug。
Anyscale 团队将 Ray 集成至 Huggingface Transformers 的 RAG 模型中,用于分布式文档检索。该实现相比 torch.distributed 将单次检索速度提升 2 倍,并解决了同步瓶颈与 PyTorch 依赖限制。在 2 至 4 GPU 训练场景下,Ray 方案的检索耗时显著低于基线,提升了多 GPU 微调的扩展性。
Hugging Face 宣布其库已支持通过 PyTorch/XLA 在 Cloud TPU 上训练模型,用户可保持原有 Trainer 接口不变。该集成利用 PyTorch 与 TPU 团队的合作成果,允许用户在 TPU 上运行和扩展模型,同时提供性能基准测试和训练示例。
Hugging Face 发布的 Transformers v4.2.0 显著提升了 BERT 等 TensorFlow 模型的计算性能,在 GPU 环境下较 Google 官方实现快约 10%,且比 v4.1.1 快两倍。
Hugging Face 将 DeepSpeed 和 FairScale 的 ZeRO 特性引入 transformers 训练器,支持通过 --sharded_ddp 和 --deepspeed 参数降低显存占用。
Hugging Face 通过组合优化技术与硬件针对性编译,实现 Transformer 模型推理速度提升 100 倍。 首先利用 🤗 Transformers 与 🤗 Tokenizers 库的高级特性实现 10 倍加速,重点优化 Tokenization 瓶颈并减少注意力矩阵计算维度。
Hugging Face 发布教程详解如何利用 BERT、GPT2 等预训练检查点初始化 encoder-decoder 模型,跳过高昂的预训练阶段。Rothe 等人证明这种 warm-starting 方法在序列到序列任务上能以极低训练成本达到 T5 等模型的可比性能。教程包含理论分析、任务适配性及使用 Transformers 框架的完整代码示例。
Stas Bekman 记录将 fairseq wmt19 翻译系统完整移植到 transformers 库的过程。他使用 en-ru 和 ru-en 模型作为切入点,通过编写转换脚本将 PyTorch 权重转为 transformers 支持格式。最终实现了包含 FSMT 配置、模型架构及分词器在内的完整代码支持。
Hugging Face Transformers 3.1 与 Ray Tune 集成,简化大语言模型超参数调优。实验显示,Population-based Training 在 BERT 上取得 78% 最佳验证准确率,优于网格搜索。用户仅需几行代码即可调用 Ray Tune 算法进行微调。
Hugging Face 发布教程,详细解析基于 Transformer 的编码器解码器架构在序列到序列任务中的推断机制。文章将模型拆解为编码器与解码器两部分,利用 MarianMT 模型展示了双向自注意力如何实现上下文依赖,以及单向自注意力和交叉注意力如何生成条件概率分布。
Hugging Face 发布 pytorch_block_sparse 扩展,提供 BlockSparseLinear 模块以支持块稀疏矩阵计算,使神经网络更小更快。
Hugging Face 官方博客通过公式推导和基准测试,详细解释了 Reformer 模型如何在低于 8GB 内存限制下处理 50 万 token 序列。文章重点剖析了 LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四种核心技术,展示了它们分别如何降低 O(n^2) 内存复杂性和训练时的激活存储压力。
推荐理由:原文拆解了 Reformer 四大内存优化组件,并给出基准测试数据,帮助读者理解长序列模型的工程实现取舍。
Hugging Face 发布教程详解 Transformers 库中语言生成的解码方法。文章通过代码示例演示了贪心搜索、束搜索、随机采样、Temperature 调节、Top-k 及 Top-p(Nucleus)采样的实现方式。指出 Top-k 和 Top-p 采样在开放式语言生成中通常比贪心和束搜索能产生更连贯的文本,并建议根据具体使用场景选择最优解码策略。
Hugging Face 发布教程,演示使用 Transformers 和 Tokenizers 库从头训练 84M 参数的小模型 EsperBERTo。该模型在 3GB 的 Esperanto 语料库上预训练,后续针对词性标注任务进行微调。字节级 BPE tokenizer 训练耗时约 5 分钟,编码序列平均长度比 GPT-2 减少约 30%。