使用 AWS Inferentia2 加速 Llama 2 模型文本生成
Hugging Face 博客发布教程,展示如何利用 optimum-neuron 将 Llama 2 模型部署在 AWS Inferentia2 上以加速文本生成。该方案支持 Llama 2 7B 和 13B 模型,预编译版本已上传至 Hugging Face Hub,提供针对延迟和吞吐量的不同配置,用户可通过 Neuron 格式模型直接进行推理。
Hugging Face 博客发布教程,展示如何利用 optimum-neuron 将 Llama 2 模型部署在 AWS Inferentia2 上以加速文本生成。该方案支持 Llama 2 7B 和 13B 模型,预编译版本已上传至 Hugging Face Hub,提供针对延迟和吞吐量的不同配置,用户可通过 Neuron 格式模型直接进行推理。
Hugging Face 在其企业版 Hub 中新增“存储区域”功能,允许用户指定组织内的模型和数据集存储位置。该功能支持美国和欧盟区域,旨在帮助欧盟企业通过本地数据中心部署模型、数据集及推理端点以满足 GDPR 合规要求。对于位于欧洲的团队,将仓库存储在欧盟区域可将上传和下载速度提升约 4 至 5 倍。
Hugging Face 展示了如何通过 Text Embedding Inference (TEI) 在 Inference Endpoints 上部署开源 Embedding 模型。
Hugging Face 平台超 13 万个支持 ONNX 的模型通过 ONNX Runtime 加速以提升性能。 该工具支持 BERT、GPT2 等 90 多种架构,其中 11 种最流行架构均获支持。以 whisper-tiny 模型为例,使用 ONNX Runtime 推理延迟最高比 PyTorch 降低 74.30%。
Hugging Face Diffusers 宣布支持通过 JAX 在 Google Cloud TPU v5e 上部署 Stable Diffusion XL,实现高性能且成本高效的推理。
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的部署进行了基准测试,分析了超过 60 种配置。测试涵盖 7B、13B 和 70B 模型,结合 GPTQ 量化技术,在 g5 和 p4d 实例上测量延迟与吞吐量,旨在为用户在成本、延迟和吞吐量之间提供最优部署建议。
Rocket Money 为替代正则表达式系统以处理交易分类,选择 Hugging Face Inference API 部署 BERT 模型。该系统在缺乏专职 MLOps 团队的情况下,实现了 100M 月交易量的动态扩展与低延迟推理。Hugging Face 快速上线并协助完成负载测试,成为其高可用模型服务的关键合作伙伴。
Hugging Face 技术博客详细解析了 LLM 在生产环境中的优化方法,涵盖低精度量化、Flash Attention 及架构改进。
推荐理由:文章系统展示了量化、Flash Attention 和架构优化在长上下文推理中的实际内存与速度收益,为工程落地提供直接参考。
文章介绍如何使用 PyTorch FSDP 在 2 节点 16 张 A100 80GB 上微调 Llama 2 70B。
Hugging Face 官方总结了 Transformers 中 bitsandbytes 和 auto-gPTQ 两种原生量化方案的优缺点。bitsandbytes 实现简单且支持多模态,但文本生成速度较慢;autoGPTQ 在文本生成上速度更快,支持最高 2-bit 量化,但需要校准数据集且目前仅支持语言模型。
消费奖励公司 Fetch 通过优化基于 Amazon SageMaker 和 Hugging Face 的机器学习流水线,将最慢扫描的处理延迟降低了 50%。 Fetch 利用 Amazon SageMaker 的多 GPU 实例部署自定义模型,并借助 Hugging Face 的 AWS 深度学习容器和推理工具包简化了 Transformer 模型的训练与部署流程。
OpenAI 推出 ChatGPT Enterprise,提供企业级安全与隐私保护,并搭载迄今功能最强大的 ChatGPT 版本。
Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers,支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微,且小批量推理速度与 fp16 基准相当。
推荐理由:Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers,提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。
Hugging Face 发布教程,演示如何使用 Better Transformer、fp16 和 CPU offload 优化 Bark 模型。基准测试显示,组合三种优化可将 Bark-large 的内存占用从 5GB 降至 2GB,速度提升 15%;批量处理时吞吐量最高提升 87%。
本文演示了利用开源平台 BentoML 部署 Hugging Face 上开源文生图模型 DeepFloyd IF 的完整流程。DeepFloyd IF 直接在像素空间工作,采用级联扩散模块将图像从 64x64 px 逐步放大至 1024x1024 px。用户可通过定义 Service、打包 Bento 并容器化,将其部署到 Kubernetes 或 Yatai 以实现生产环境服务。
Hugging Face 博客介绍了如何使用 Inference Endpoints 部署音乐生成模型 MusicGen。通过编写自定义 handler 处理不支持 transformers 高层 pipeline 的模型,利用 custom handlers 实现推理功能。
本文介绍如何在单张AMD GPU上使用ROCm运行开源大语言模型Vicuna 13B。该模型由LLaMA基础模型微调而来,使用约70,000条用户对话数据,训练成本约300美元。文中详细说明了使用GPTQ 4位量化版本以降低显存需求,并提供了在ROCm 5.4.3和PyTorch 2.0环境下部署与推理的步骤。
Hugging Face 发布新的文本生成解码方法 assisted generation,利用更小的 assistant 模型先批量生成候选 token,再由主模型一次前向验证。
Hugging Face 发布指南,展示如何使用 TensorFlow 和 TPU 从头训练掩码语言模型。教程涵盖从训练 Unigram 分词器到数据准备及最终模型训练上传的全流程,默认使用 BERT 大小的模型。通过利用 XLA 和 TPUStrategy,大部分 Hugging Face 模型可轻松在 TPU 上运行,无需复杂配置。
AWS Inferentia2 推理加速器使 Hugging Face Transformers 的延迟平均降低 4.5 倍,吞吐量提升 4 倍,超越了 NVIDIA A10G GPU 和 Inferentia1 的性能。
BLOOMZ 在 Habana Gaudi2 上推理性能优于 A100 80GB,176B 参数版本速度达 1.42 倍,7B 参数版本速度达 2.89 倍。 测试基于 Optimum Habana 库,使用 DeepSpeed-inference 实现模型并行,支持 16 位精度下的低延迟推理。
在 Intel Sapphire Rapids CPU 上,使用 Optimum Intel 和 OpenVINO 可显著加速 Stable Diffusion 推理。
Hugging Face 博客分享了其内部机器学习模型部署架构迁移的经验,决定将基于 CPU 的推理服务从 AWS ECS 切换至 Hugging Face Inference Endpoints。
本文通过基准测试验证了 Hugging Face Optimum Intel 在 Intel Sapphire Rapids CPU 上加速 PyTorch 模型推理的效果。测试涵盖 distilbert-base-uncased、bert-base-uncased 和 roberta-base 等 NLP 模型,结果显示使用 Optimum Intel 库能显著提升短长序列的分类任务预测性能。
Hugging Face Hub 已支持 8 类核心计算机视觉任务,涵盖图像分类、分割、目标检测、深度估计等,拥有超 3000 个模型和 100+ 数据集。生态内集成 timm、Diffusers 等第三方库,支持通过 Transformers Trainer API 进行微调,并兼容 MAE、CLIP 等预训练策略。
Hugging Face 和 Microsoft ONNX Runtime 团队合作,通过 Optimum 库集成 ONNX Runtime 来加速大型语言、语音和视觉模型的微调。
Hugging Face 宣布与百度 PaddlePaddle 开展开源合作,将 PaddlePaddle 模型库接入 Hugging Face Hub。用户可在 Hub 上找到超过 75 个 PaddlePaddle 模型(包括 ERNIE 3.0、UIE、PaddleOCR 等),并通过 Inference API 和交互 widget 直接调用。
Hugging Face 展示如何利用 Intel Sapphire Rapids CPU 集群通过 IPEX 和 CCL 库加速 PyTorch 训练任务。该方案利用 AMX 指令集加速矩阵乘法,支持 BF16 和 INT8 数据格式,且无需修改现有 Hugging Face 代码即可运行。
Hugging Face 推出包含免费 Inference Widget、Inference API 及生产级 Inference Endpoints 的完整推理方案。
Hugging Face 调整定价策略,停止提供 Inference API 付费层级,该服务现免费开放。公司推出面向企业的 Inference Endpoints 及 Spaces 硬件升级功能,无需订阅,通过绑定信用卡或组织支付方式使用,费用于每月初统一结算。
Hugging Face 宣布在 Optimum Intel 中集成 Intel OpenVINO,支持使用 Transformers 模型在多种 Intel 处理器上进行推理。
Hugging Face 新推出 Inference Endpoints 服务,允许用户将模型直接从 Hugging Face hub 部署至托管基础设施,仅需几次点击即可完成。该服务支持 Public、Protected 和 Private 三种访问级别,其中 Private 模式通过 AWS PrivateLink 和 VPC Endpoint 实现网络隔离与访问控制。
Hugging Face 团队通过数周优化,将 Bloom 推理服务器的延迟降低了 5 倍,吞吐量提升了 50 倍。他们利用 accelerate 的 device_map="auto" 进行模型分片,并针对 352GB 模型规模进行了具体的性能调整。
Hugging Face 发布教程,解释 Accelerate 如何利用 PyTorch 的 meta device 机制和分片检查点格式,解决超大模型(如 BLOOM、OPT)因内存不足无法加载的问题。
Hugging Face 发布技术教程,详解如何使用 NVIDIA 的 Megatron-LM 框架在 GPU 上预训练 GPT2 模型。教程涵盖环境搭建、数据预处理及训练全流程,解析了 Megatron-LM 通过高效 DataLoader 和融合 CUDA 内核优化训练速度的技术原理。
该教程展示了如何将 Hugging Face 的 ViT B/16 TensorFlow 模型部署至 Google Vertex AI 平台。 通过 google-cloud-aiplatform Python SDK 执行模型上传、端点创建及部署,利用 Vertex AI Model Registry 实现模型版本管理与自动扩缩容,无需编写大量代码即可实现 Kubernetes 级别的扩展性。
本文通过 Hugging Face Optimum Graphcore 库,展示了如何在 Graphcore IPU 上对预训练的 Vision Transformer (ViT) 模型进行微调。
Hugging Face 发布技术教程,结合 transformers、accelerate 和 bitsandbytes 库讲解 LLM.int8() 在大模型部署中的应用。文章通过 BLOOM-176B 和 OPT-175B 的测试数据证明,LLM.int8() 能在保持 FP16 推理性能的前提下将显存占用降低 4 倍,且针对小模型(如 T5-3B)的推理延迟优化策略也已同步更新。
推荐理由:Hugging Face 团队详细拆解了 LLM.int8() 的底层原理与集成实践,读者可借此实现大模型低显存推理的落地。
Hugging Face 强调其 TensorFlow 模型均封装为 Keras Model 对象,允许用户直接调用 fit()、compile() 和 predict() 方法。文章指出 TF 与 Keras 及 tf.data 紧密集成,这种架构使 Hugging Face 的 transformers 库在 TensorFlow 后端下能无缝利用预训练模型进行高效推理与训练。
文章介绍如何利用 Docker 和 Kubernetes 扩展本地部署的 Vision Transformer (ViT) 模型。通过基于 TensorFlow Serving 基础镜像容器化应用逻辑,并结合 Google Kubernetes Engine (GKE) 管理集群,实现支持多用户的规模化部署。该流程支持 gRPC 和 HTTP/REST 端点,便于处理原始图像输入并返回预测结果。
最多提供 50 页,更早的内容请使用搜索或主题页。