利用 Intel Sapphire Rapids 加速 PyTorch 训练 Hugging Face Transformers
Hugging Face 展示如何利用 Intel Sapphire Rapids CPU 集群通过 IPEX 和 CCL 库加速 PyTorch 训练任务。该方案利用 AMX 指令集加速矩阵乘法,支持 BF16 和 INT8 数据格式,且无需修改现有 Hugging Face 代码即可运行。
Hugging Face 展示如何利用 Intel Sapphire Rapids CPU 集群通过 IPEX 和 CCL 库加速 PyTorch 训练任务。该方案利用 AMX 指令集加速矩阵乘法,支持 BF16 和 INT8 数据格式,且无需修改现有 Hugging Face 代码即可运行。
Hugging Face 推出包含免费 Inference Widget、Inference API 及生产级 Inference Endpoints 的完整推理方案。
Hugging Face 调整定价策略,停止提供 Inference API 付费层级,该服务现免费开放。公司推出面向企业的 Inference Endpoints 及 Spaces 硬件升级功能,无需订阅,通过绑定信用卡或组织支付方式使用,费用于每月初统一结算。
Hugging Face 宣布在 Optimum Intel 中集成 Intel OpenVINO,支持使用 Transformers 模型在多种 Intel 处理器上进行推理。
Hugging Face 新推出 Inference Endpoints 服务,允许用户将模型直接从 Hugging Face hub 部署至托管基础设施,仅需几次点击即可完成。该服务支持 Public、Protected 和 Private 三种访问级别,其中 Private 模式通过 AWS PrivateLink 和 VPC Endpoint 实现网络隔离与访问控制。
Hugging Face 团队通过数周优化,将 Bloom 推理服务器的延迟降低了 5 倍,吞吐量提升了 50 倍。他们利用 accelerate 的 device_map="auto" 进行模型分片,并针对 352GB 模型规模进行了具体的性能调整。
Hugging Face 发布教程,解释 Accelerate 如何利用 PyTorch 的 meta device 机制和分片检查点格式,解决超大模型(如 BLOOM、OPT)因内存不足无法加载的问题。
Hugging Face 发布技术教程,详解如何使用 NVIDIA 的 Megatron-LM 框架在 GPU 上预训练 GPT2 模型。教程涵盖环境搭建、数据预处理及训练全流程,解析了 Megatron-LM 通过高效 DataLoader 和融合 CUDA 内核优化训练速度的技术原理。
该教程展示了如何将 Hugging Face 的 ViT B/16 TensorFlow 模型部署至 Google Vertex AI 平台。 通过 google-cloud-aiplatform Python SDK 执行模型上传、端点创建及部署,利用 Vertex AI Model Registry 实现模型版本管理与自动扩缩容,无需编写大量代码即可实现 Kubernetes 级别的扩展性。
本文通过 Hugging Face Optimum Graphcore 库,展示了如何在 Graphcore IPU 上对预训练的 Vision Transformer (ViT) 模型进行微调。
Hugging Face 发布技术教程,结合 transformers、accelerate 和 bitsandbytes 库讲解 LLM.int8() 在大模型部署中的应用。文章通过 BLOOM-176B 和 OPT-175B 的测试数据证明,LLM.int8() 能在保持 FP16 推理性能的前提下将显存占用降低 4 倍,且针对小模型(如 T5-3B)的推理延迟优化策略也已同步更新。
推荐理由:Hugging Face 团队详细拆解了 LLM.int8() 的底层原理与集成实践,读者可借此实现大模型低显存推理的落地。
Hugging Face 强调其 TensorFlow 模型均封装为 Keras Model 对象,允许用户直接调用 fit()、compile() 和 predict() 方法。文章指出 TF 与 Keras 及 tf.data 紧密集成,这种架构使 Hugging Face 的 transformers 库在 TensorFlow 后端下能无缝利用预训练模型进行高效推理与训练。
文章介绍如何利用 Docker 和 Kubernetes 扩展本地部署的 Vision Transformer (ViT) 模型。通过基于 TensorFlow Serving 基础镜像容器化应用逻辑,并结合 Google Kubernetes Engine (GKE) 管理集群,实现支持多用户的规模化部署。该流程支持 gRPC 和 HTTP/REST 端点,便于处理原始图像输入并返回预测结果。
Hugging Face 推出 Private Hub,允许企业在合规的私有环境中运行其完整的机器学习生态系统。该功能集成了 AutoTrain、Spaces 和 Inference API,支持模型微调、演示及推理部署,数据不出内网。更新显示,Private Hub 现已更名为 Enterprise Hub,不再提供本地部署,改为提供云端托管及混合云解决方案,并支持 SSO 等高级访问控制。
推荐理由:介绍了私有化部署方案如何帮助企业加速模型全生命周期开发。
Hugging Face 宣布通过 XLA 编译器显著加速 TensorFlow 文本生成,性能提升最高达 100 倍,在多数情况下比 PyTorch 快 9 倍。该方法通过在 tf.function 中启用 jit_compile 参数实现优化,并需对输入进行填充以固定张量维度,从而避免重复编译。
推荐理由:展示了XLA编译将TensorFlow文本生成提速至百倍甚至超越PyTorch的方法,给出了可直接复用的优化步骤。
Hugging Face 发布教程,指导开发者使用 TensorFlow Serving (TF Serving) 在本地部署基于 Hugging Face Transformers 的视觉模型。
BLOOM 项目团队发布 176B 参数模型训练技术总结,详细介绍了基于 384 块 A100 GPU 的硬件架构与软件配置。文章深度解析了 Megatron-DeepSpeed 框架中 3D 并行(DP、TP、PP)与 ZeRO 分片机制,阐述了 BF16 优化器在避免溢出及提高训练稳定性中的作用。通过记录 48 节点集群训练过程中遇到的故障与优化策略,为大规模分布式 LLM 训练提供工程参考。
推荐理由:文章拆解了 Megatron-DeepSpeed 的 3D 并行机制与 BF16 优化策略,为大规模模型训练提供了工程参考。
Hugging Face Accelerate 库支持通过 DeepSpeed ZeRO 实现大模型训练,无需修改代码即可利用 2 块 NVIDIA Titan RTX GPU 运行 900M 参数的 microsoft/deberta-v2-xlarge-mnli 模型。
Hugging Face 提供三种将 Transformers 模型转换为 ONNX 的方法。低级方法通过 torch.onnx API 导出,需手动配置动态轴;中级方法使用 transformers.onnx,利用配置对象简化流程;高级方法通过 Optimum 库调用 ORTModelForSequenceClassification,可直接加载模型进行推理。
Intel 正式加入 Hugging Face 硬件合作伙伴计划。双方将基于 Optimum 开源库与 Intel Neural Compressor (INC) 协作,通过量化工具简化 Transformer 模型在 Intel Xeon 平台上的加速训练与推理。此前在 Habana Gaudi 加速器上的测试显示,其性价比相比 GPU 高出 40%。
Graphcore 与 Hugging Face 扩展了 Hugging Face Optimum 在 IPU 上的模型支持,开发者可访问 10 个覆盖 NLP、语音和计算机视觉的 Transformer 模型。这些模型包含 BERT、ViT、GPT-2、T5 和 HuBERT 等,均提供 IPU 配置文件及预训练或微调权重。
Hugging Face 开源库 Optimum 1.2 新增推理与 transformers pipelines 支持,开发者可直接将 AutoModelForXxx 类替换为 ORTModelForXxx 类并在 ONNX Runtime 上运行。
推荐理由:通过加速问答模型的全流程实操,展示了如何将优化方法迁移至现有的 BERT 级 NLP 任务。
本文教程指导用户通过 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 文本分类推理。AWS 称 Inferentia 相比同代 GPU 实例推理成本降低 80%,吞吐量提升 2.3 倍。流程包括使用 AWS Neuron SDK 将模型转换为 Neuron 格式,并部署至 Amazon SageMaker 实时推理端点。
Hugging Face 在 huggingface_hub 中推出了增强搜索功能,新增 ModelSearchArguments 和 ModelFilter 类,支持在 Python 环境中通过程序化接口按任务、数据集、框架等条件检索模型与数据集。
本文演示了利用 Hugging Face Inference Toolkit 在 Amazon SageMaker 上部署 GPT-J 6B 模型,以支持实时推理。
在 Intel Xeon Scalable Ice Lake 集群上利用 AVX-512 和 VNNI 指令加速 PyTorch 分布式微调。通过部署 Intel 扩展库和 oneCCL 通信库,在 MRPC 数据集上对 BERT 模型进行微调。测试了单节点、双节点和四节点配置的加速效果,验证了 CPU 集群在短时长微调任务中的可行性。
Hugging Face 与 Intel 合作,通过 Intel 软件优化现代 CPU 上的 BERT 类模型推理。新一代 Ice Lake Xeon CPU 在 NLP 任务上的推理速度比 Cascade Lake 快 75%。文章介绍了利用 Intel oneAPI、oneMKL 等软件组件进行内存管理和高效并行计算,以最大化 CPU 性能。
Hugging Face 推出开源库 Optimum,旨在简化 Transformer 模型在特定硬件上的训练与推理性能优化。该工具包支持与 Intel 等硬件合作伙伴协作,通过集成 Intel Neural Compressor,简化了模型量化、低精度推理部署等复杂流程,帮助工程师更高效地利用硬件加速特性。
Hugging Face 发布新的推理 DLCs,允许用户通过一行代码部署训练好的模型,或直接从模型中心选择 10,000+ 个公开模型在 Amazon SageMaker 上进行推理。该工具包利用 transformers 库实现零代码部署,并提供生产级端点支持。
Gradio 2.0 允许通过一行代码加载 Hugging Face 模型并生成 GUI,支持调用托管 Inference API 或本地运行。该版本还支持将多个模型作为组件进行并行比较或串联组合,例如仅用 3 行代码即可构建翻译与摘要应用。
该基准测试基于 Hugging Face transformers v4.5.0、PyTorch 1.8.1 和 TensorFlow 2.4.0,在 AWS c5.metal 实例(Intel Xeon Platinum 8275 CPU)上进行。
Hugging Face 开源 Accelerate 库,让用户在标准 PyTorch 脚本中仅添加 5 行代码即可运行分布式训练和混合精度训练。该工具抽象了多 GPU、TPU 及 SageMaker 等环境的样板代码,提供统一 API 和 accelerate launch 命令行工具简化部署。
Hugging Face 与 Amazon SageMaker 合作推出优化的深度学习容器,支持通过一行代码启动 Transformers 模型训练。
Hugging Face 宣布与 Amazon 达成战略合作,将 Amazon Web Services 设为首选云提供商。双方推出 Hugging Face Deep Learning Containers (DLCs) 并集成至 Amazon SageMaker,支持 TensorFlow 与 PyTorch 的单卡及多节点集群训练。
社区成员 Maxence Dominici 展示了将 Hugging Face Transformers 的情感分析管道部署到 Google Cloud 的实践。
本教程展示如何使用 Hugging Face Transformers 库微调 Wav2Vec2 模型,将其应用于英语自动语音识别(ASR)。
Hugging Face 宣布其库已支持通过 PyTorch/XLA 在 Cloud TPU 上训练模型,用户可保持原有 Trainer 接口不变。该集成利用 PyTorch 与 TPU 团队的合作成果,允许用户在 TPU 上运行和扩展模型,同时提供性能基准测试和训练示例。
Hugging Face 发布的 Transformers v4.2.0 显著提升了 BERT 等 TensorFlow 模型的计算性能,在 GPU 环境下较 Google 官方实现快约 10%,且比 v4.1.1 快两倍。
OpenAI 将 Kubernetes 集群扩展至 7,500 个节点,为 GPT-3、CLIP 和 DALL·E 等大模型构建了可扩展的基础设施。这一扩展同时支持了《神经语言模型规模定律》等快速小规模迭代研究。
Hugging Face 将 DeepSpeed 和 FairScale 的 ZeRO 特性引入 transformers 训练器,支持通过 --sharded_ddp 和 --deepspeed 参数降低显存占用。