使用 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 推理
本文教程指导用户通过 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 文本分类推理。AWS 称 Inferentia 相比同代 GPU 实例推理成本降低 80%,吞吐量提升 2.3 倍。流程包括使用 AWS Neuron SDK 将模型转换为 Neuron 格式,并部署至 Amazon SageMaker 实时推理端点。
本文教程指导用户通过 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 文本分类推理。AWS 称 Inferentia 相比同代 GPU 实例推理成本降低 80%,吞吐量提升 2.3 倍。流程包括使用 AWS Neuron SDK 将模型转换为 Neuron 格式,并部署至 Amazon SageMaker 实时推理端点。
Hugging Face 在 Transformers 中发布了受限束搜索(constrained beam search)功能,允许用户在生成阶段通过 force_words_ids 参数强制输出包含特定词组或满足析取约束。
BERT 是由 Google AI Language 于 2018 年开发的自然语言处理模型,利用 Transformer 架构实现了双向文本理解。该模型通过 3.3 亿词的数据集训练,解决了情感分析等 11 类常见 NLP 任务。其衍生版本 DistilBERT 速度提升 60%,同时保持了 95% 以上的性能。
教程演示利用 Hugging Face datasets 和 transformers 库微调 Vision Transformer (ViT) 处理图像分类。使用 google/vit-base-patch16-224-in21k 模型及其配套的 ViTImageProcessor,通过加载 beans 数据集并应用标准化预处理,将图像转换为模型可接受的张量输入以完成微调流程。
Hugging Face 发布 Python 情感分析入门指南,展示如何用预训练模型实现自动化情感标记。教程提供 5 行代码示例,利用 `transformers` 库的 `pipeline` 函数调用 Hub 上超过 215 个公开模型,无需机器学习经验即可处理数据。
Meta AI 的 Wav2Vec2 模型因 Transformer 架构的 O(n²) 复杂度限制,直接处理长音频文件会导致内存溢出。通过在 Transformers 中利用 Connectionist Temporal Classification (CTC) 架构特性并设置 `chunk_length_s` 参数,可实现任意长度文件的自动语音识别 (ASR)。
Hugging Face 在 huggingface_hub 中推出了增强搜索功能,新增 ModelSearchArguments 和 ModelFilter 类,支持在 Python 环境中通过程序化接口按任务、数据集、框架等条件检索模型与数据集。
Hugging Face 宣布将 Stable-Baselines3 集成至 Hugging Face Hub。该集成允许用户通过 huggingface_sb3 库上传训练好的深度强化学习模型,并从社区下载模型以支持 CartPole、Space Invaders 等环境中的智能体测试。
Hugging Face Infinity 在 Intel Xeon CPU 上实现毫秒级延迟,DistilBERT 模型相比原生 transformers 在 Ice Lake 实例上延迟和吞吐量最高提升 800%。
本文是 Hugging Face 发布的分步指南,介绍如何为 Wav2Vec2 微调模型添加 n-gram 语言模型以提升语音识别效果。指南详细展示了使用 pyctcdecode 和 KenLM 构建 5-gram 模型,并将其与 Wav2Vec2ProcessorWithLM 结合的方法。
本文演示了利用 Hugging Face Inference Toolkit 在 Amazon SageMaker 上部署 GPT-J 6B 模型,以支持实时推理。
Hugging Face 展示了使用 AutoNLP 框架和 Explosion 的 Prodigy 标注工具构建主动学习流水线的过程。在 BBC 新闻分类数据集上,AutoNLP 训练的多类分类模型达到 98.67% 准确率,支持成本低至每个模型 $10。随后团队利用 Prodigy 完成命名实体识别标注,并将数据转换为 JSONL 格式以训练实体识别模型。
Hugging Face 宣布收购机器学习初创公司 Gradio,旨在为用户、开发者和数据科学家提供工具以创建更好的模型。Gradio 是一个开源库,自 2019 年发布以来,已有超过 300,000 个演示应用基于其构建。此次收购将加强机器学习在各类用户中的可访问性,双方团队将共同推动 Gradio 的发展。
Hugging Face Transformers 新增 Perceiver IO,这是首个基于 Transformer 且适用于文本、图像、音频、视频及点云等任意模态及其组合的模型。该架构在潜在变量上使用自注意力,使计算量独立于输入大小,仅线性依赖输入规模。模型支持 256 或 512 个潜在变量,可实现图像分类及光流预测等任务。
Hugging Face 发布教程,介绍如何从零训练 110M 和 1.5B 参数的 GPT-2 模型 CodeParrot 以生成 Python 代码。该模型使用基于 180GB Python 代码清洗后的 50GB 数据集训练,并采用 🤗 Accelerate 库在 16 张 A100 GPU 上完成分布式训练。
推荐理由:提供了训练 GPT-2 大模型的具体步骤,涵盖数据清洗、分词器设计和分布式训练,可复用于自研代码模型。
Hugging Face 发布首个自研 Unity ML-Agents 深度强化学习环境 Snowball Fight,支持用户在 Hugging Face Spaces 在线对战。该平台允许开源托管训练环境与模型,并计划在后续版本中支持 2vs2 协作模式,采用 MA-POCA 算法训练团队行为。
Hugging Face 发布了 Optimum 库,用于在 Graphcore IPU 等硬件平台上降低 Transformer 模型的预测延迟。 该指南展示了如何使用 BERT 模型在 IPU 上执行微调,通过 Optimum-Graphcore 包和 PopTorch 框架实现推理加速。
Hugging Face 团队推出了名为 Data Measurements Tool(DMT)的开源工具和 Python 库,用于构建、测量和比较数据集。该工具结合 Hugging Face Hub 和 Streamlit,提供无代码界面,支持自动计算描述性统计和分布性统计指标。
在 Intel Xeon Scalable Ice Lake 集群上利用 AVX-512 和 VNNI 指令加速 PyTorch 分布式微调。通过部署 Intel 扩展库和 oneCCL 通信库,在 MRPC 数据集上对 BERT 模型进行微调。测试了单节点、双节点和四节点配置的加速效果,验证了 CPU 集群在短时长微调任务中的可行性。
XLS-R 是 XLSR 的继任者,于 2021 年 11 月发布,使用 128 种语言的近 50 万小时音频数据进行自监督预训练,参数规模从 300M 到 2B。
Hugging Face 与 Intel 合作,通过 Intel 软件优化现代 CPU 上的 BERT 类模型推理。新一代 Ice Lake Xeon CPU 在 NLP 任务上的推理速度比 Cascade Lake 快 75%。文章介绍了利用 Intel oneAPI、oneMKL 等软件组件进行内存管理和高效并行计算,以最大化 CPU 性能。
Hugging Face 课程第二部分将于 11 月 15 日发布,覆盖 token 分类、翻译等常见 NLP 任务,并深入讲解 Datasets 和 Tokenizers 工具。同期举办的社区活动包含为期两天的讲座及基于 NLP 任务的模型微调团队项目,由 AWS 赞助提供 Amazon SageMaker 免费算力,完成者可获证书。
作者对 Megatron-Turing NLG 530B 等巨型模型趋势持保留态度,认为其高成本与碳足迹难以匹配多数业务价值。文章建议优先使用预训练模型、选择更小模型(如 T0)并进行微调,而非盲目追求参数规模。
Hugging Face 团队在“训练史上最佳句向量模型”项目中,利用 10 亿句对训练数据开发了最先进的句向量模型。该模型基于 Transformer 架构,采用 InfoNCE 对比学习方法,通过增大批量规模、引入困难负样本及跨数据集混合批次优化性能。
Transformer 架构已扩展至 NLP 之外,正成为机器学习通用架构,在计算机视觉、语音等领域表现高效。Google Vision Transformer 和 CoAtNet 在 ImageNet 图像分类中创下新基准,且所需计算资源更少。行业正从从零训练模型转向使用现成模型进行微调,以更快交付业务价值。
研究团队使用 RSICD、UCM 和 Sydney 数据集微调了 OpenAI 的 CLIP 模型,以提升其在遥感卫星图像上的性能。该模型支持通过文本查询在大型卫星图像集合中进行搜索,可用于监测气候变化或国土防御。训练过程结合了图像变换和 Marian MT 模型进行文本数据增强,以缓解过拟合并提高模型在零样本场景下的可用性。
Gradio 与 Hugging Face Hub 集成使用户能利用 Inference API 通过几行代码演示模型。Spaces 支持免费托管基于 Python 的机器学习演示应用,创建仓库并选择 Gradio 为 SDK 即可快速部署。该集成支持 Transformers、spaCy 等框架,并可通过 Gradio Series 混合使用不同模型构建复杂演示。
该教程展示了如何利用 Streamlit 在 Hugging Face Spaces 上托管机器学习模型和可视化数据集。通过代码示例,作者演示了如何构建基于 GPT-2 和 XLNet 的“Write with Transformer”交互界面,并集成 hyperparameters 调节。
Hugging Face 推出开源库 Optimum,旨在简化 Transformer 模型在特定硬件上的训练与推理性能优化。该工具包支持与 Intel 等硬件合作伙伴协作,通过集成 Intel Neural Compressor,简化了模型量化、低精度推理部署等复杂流程,帮助工程师更高效地利用硬件加速特性。
Hugging Face 与 Graphcore 宣布合作,推出针对 IPU 优化的 Transformers 模型,支持在 IPU-POD 数据系统中以生产规模部署 BERT 等模型。双方将共同开发基于开源工具 Optimum 的硬件优化模型,预计年内首批上线,覆盖视觉、语音及文本生成应用。
Hugging Face 发布 DeDLOC 方法,通过互联网协作分布训练语言模型。该方法利用 40 名志愿者成功预训练孟加拉语模型 sahajBERT,在下游任务中达到近乎 SOTA 的质量,效果可比拟使用数百台高端加速器的更大模型。
Hugging Face 将 spaCy 纳入其模型库,用户可通过一条命令上传 pipeline 包并生成元数据。Hub 目前提供 60 多个 spaCy 3.1 规范模型,支持命名实体识别(NER)的托管推理 API 及浏览器交互试用。用户还可利用 huggingface-hub 推送功能,将本地模型快速分享至社区。
Hugging Face 发布新的推理 DLCs,允许用户通过一行代码部署训练好的模型,或直接从模型中心选择 10,000+ 个公开模型在 Amazon SageMaker 上进行推理。该工具包利用 transformers 库实现零代码部署,并提供生产级端点支持。
Hugging Face Hub 宣布与 Sentence Transformers v2 集成,在 Hub 中提供覆盖 100 多种语言的 90 多个预训练模型。平台新增 feature-extraction widget 以展示句子嵌入,以及 sentence-similarity widget 用于计算句子相似度,并可通过 Inference API 端点程序化调用模型。
EleutherAI GPT-Neo 结合 Hugging Face 加速推理 API 支持少样本学习,API 提供高达 100 倍推理加速。GPT-Neo (2.7B) 需 3-4 个示例即可实现良好泛化,相比 GPT-3 (175B) 在零样本任务上表现较弱。通过调节温度、最大新 token 数及结束序列等超参数,可控制生成结果,但需注意情感分析等场景可能出现的错误预测风险。
Gradio 2.0 允许通过一行代码加载 Hugging Face 模型并生成 GUI,支持调用托管 Inference API 或本地运行。该版本还支持将多个模型作为组件进行并行比较或串联组合,例如仅用 3 行代码即可构建翻译与摘要应用。
该基准测试基于 Hugging Face transformers v4.5.0、PyTorch 1.8.1 和 TensorFlow 2.4.0,在 AWS c5.metal 实例(Intel Xeon Platinum 8275 CPU)上进行。
Hugging Face 开源 Accelerate 库,让用户在标准 PyTorch 脚本中仅添加 5 行代码即可运行分布式训练和混合精度训练。该工具抽象了多 GPU、TPU 及 SageMaker 等环境的样板代码,提供统一 API 和 accelerate launch 命令行工具简化部署。
Hugging Face 与 Amazon SageMaker 合作推出优化的深度学习容器,支持通过一行代码启动 Transformers 模型训练。
Hugging Face 官方博客发布技术文章,深入解析 BigBird 模型中块稀疏注意力机制的实现原理。