Hugging Face 面向初学者的 Transformers 入门指南
Hugging Face 发布了一份面向非技术背景读者的 Transformers 入门指南,旨在帮助零基础用户理解开源机器学习的基本概念。该教程以在 Hugging Face Space 的 JupyterLab 笔记本中运行微软 Phi-2 大语言模型为例,演示了如何配置 NVIDIA A10G GPU 环境并部署模型。
Hugging Face 发布了一份面向非技术背景读者的 Transformers 入门指南,旨在帮助零基础用户理解开源机器学习的基本概念。该教程以在 Hugging Face Space 的 JupyterLab 笔记本中运行微软 Phi-2 大语言模型为例,演示了如何配置 NVIDIA A10G GPU 环境并部署模型。
GaLore 利用梯度低秩结构实现显存高效的大语言模型全参数训练,将优化器状态显存降低 82.5% 以上。该方法支持结合 8-bit 优化器,使 7B 参数模型能在 NVIDIA RTX 4090 等消费级 GPU 上完成训练。
Hugging Face 推出 PyTorch 量化后端 Quanto,作为 Optimum 的组件支持 int8、int4、int2 及 float8 权重与激活量化。
Hugging Face 演示如何利用 Optimum Intel 库加速 BGE 嵌入模型在 Intel Xeon CPU 上的推理性能,提升检索增强生成效率。该方案支持量化与低比特优化,利用 AVX-512、VNNI 及 AMX 指令集降低延迟并提高吞吐量。
通过 Optimum Habana 的自定义 Pipeline 类,可在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列(7b、13b、70b)模型进行文本生成。该 Pipeline 封装了预处理与后处理,支持通过 Python 脚本调用或集成至 LangChain,仅需少量代码即可实现端到端生成。
Google 发布名为 Gemma 的 4 个开源 LLM 模型,其中 7B 参数版本采用 6T token 预训练,8K context 下得分 63.75。Hugging Face 提供 transformers 4.38 集成支持,并说明使用 QLoRA 在单张 A10G GPU 上微调 gemma-7b 需约 9 小时。
推荐理由:Hugging Face 给出了 Gemma 与同级模型的基准对比,以及消费级 GPU 微调实践入口。
PEFT 库发布了针对 LoRA 适配器的新合并方法,支持在推理阶段在线结合多个微调权重。文章介绍了 concatenation、linear、SVD、TIES 和 DARE 等多种算法,提供代码示例与效果对比,并展示了将文本生成和文生图场景下不同风格的 LoRA 权重合并的应用,旨在帮助开发者在有限显存条件下提升模型能力融合体验。
Hugging Face Text Generation Inference(TGI)在 AWS Inferentia2 和 Amazon SageMaker 上正式发布。
Hugging Face 团队展示了在 Intel 4th Gen Xeon 上加速 StarCoder-15B 的方法,通过 8 位/4 位量化与推测解码实现最高 7.3 倍 TPOT 提升。量化后 HumanEval pass@1 精度损失极小,推测解码选用 164M 参数 draft 模型,文中给出了 IPEXModelForCausalLM 推理代码示例。
Hugging Face 教程指导将 ComfyUI 工作流转换为纯 Python 脚本并构建 Gradio 应用。流程包括使用 ComfyUI-to-Python-Extension 导出代码,并部署至 Hugging Face Spaces 的 ZeroGPU 服务器less 架构。用户可免费运行 Flux[dev] Redux 等工作流,无需本地 GPU 资源。
Hugging Face 发布 Optimum-NVIDIA 推理库,支持在 NVIDIA 平台上通过修改一行代码启用 FP8 量化,实现最高 28 倍推理加速和 1200 tokens/s 的吞吐量。
推荐理由:提供了从 Transformers 迁移至 Optimum-NVIDIA 的代码对比,展示了 FP8 量化在降低首字延迟和提升吞吐量方面的具体收益。
Hugging Face 宣布现已支持在 AMD Instinct GPU 上开箱即用地运行所有 Transformers 模型和任务,无需修改任何代码即可替换 NVIDIA GPU 的部署流程。
推荐理由:Hugging Face 和 AMD 给出了在 AMD Instinct GPU 上直接运行 Transformers 模型和部署 TGI 的入口,读者可以据此把现有 NVIDIA 工作流迁移过去。
Hugging Face 通过保持 Stable Diffusion 基础模型常驻内存,并在用户请求时动态切换 LoRA 适配器,将 LoRA 推理速度提升 300%。该方法将服务预热时间从 25 秒降至 3 秒,用户请求响应时间从 35 秒缩短至 13 秒。平台现仅需不到 5 块 A10G GPU 即可支持数百个不同的 LoRA 模型推理,显著节省了计算资源并优化了用户体验。
Hugging Face 博客发布教程,展示如何利用 optimum-neuron 将 Llama 2 模型部署在 AWS Inferentia2 上以加速文本生成。该方案支持 Llama 2 7B 和 13B 模型,预编译版本已上传至 Hugging Face Hub,提供针对延迟和吞吐量的不同配置,用户可通过 Neuron 格式模型直接进行推理。
Hugging Face 在其企业版 Hub 中新增“存储区域”功能,允许用户指定组织内的模型和数据集存储位置。该功能支持美国和欧盟区域,旨在帮助欧盟企业通过本地数据中心部署模型、数据集及推理端点以满足 GDPR 合规要求。对于位于欧洲的团队,将仓库存储在欧盟区域可将上传和下载速度提升约 4 至 5 倍。
Hugging Face 展示了如何通过 Text Embedding Inference (TEI) 在 Inference Endpoints 上部署开源 Embedding 模型。
Hugging Face 平台超 13 万个支持 ONNX 的模型通过 ONNX Runtime 加速以提升性能。 该工具支持 BERT、GPT2 等 90 多种架构,其中 11 种最流行架构均获支持。以 whisper-tiny 模型为例,使用 ONNX Runtime 推理延迟最高比 PyTorch 降低 74.30%。
Hugging Face Diffusers 宣布支持通过 JAX 在 Google Cloud TPU v5e 上部署 Stable Diffusion XL,实现高性能且成本高效的推理。
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的部署进行了基准测试,分析了超过 60 种配置。测试涵盖 7B、13B 和 70B 模型,结合 GPTQ 量化技术,在 g5 和 p4d 实例上测量延迟与吞吐量,旨在为用户在成本、延迟和吞吐量之间提供最优部署建议。
Rocket Money 为替代正则表达式系统以处理交易分类,选择 Hugging Face Inference API 部署 BERT 模型。该系统在缺乏专职 MLOps 团队的情况下,实现了 100M 月交易量的动态扩展与低延迟推理。Hugging Face 快速上线并协助完成负载测试,成为其高可用模型服务的关键合作伙伴。
Hugging Face 技术博客详细解析了 LLM 在生产环境中的优化方法,涵盖低精度量化、Flash Attention 及架构改进。
推荐理由:文章系统展示了量化、Flash Attention 和架构优化在长上下文推理中的实际内存与速度收益,为工程落地提供直接参考。
文章介绍如何使用 PyTorch FSDP 在 2 节点 16 张 A100 80GB 上微调 Llama 2 70B。
Hugging Face 官方总结了 Transformers 中 bitsandbytes 和 auto-gPTQ 两种原生量化方案的优缺点。bitsandbytes 实现简单且支持多模态,但文本生成速度较慢;autoGPTQ 在文本生成上速度更快,支持最高 2-bit 量化,但需要校准数据集且目前仅支持语言模型。
消费奖励公司 Fetch 通过优化基于 Amazon SageMaker 和 Hugging Face 的机器学习流水线,将最慢扫描的处理延迟降低了 50%。 Fetch 利用 Amazon SageMaker 的多 GPU 实例部署自定义模型,并借助 Hugging Face 的 AWS 深度学习容器和推理工具包简化了 Transformer 模型的训练与部署流程。
OpenAI 推出 ChatGPT Enterprise,提供企业级安全与隐私保护,并搭载迄今功能最强大的 ChatGPT 版本。
Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers,支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微,且小批量推理速度与 fp16 基准相当。
推荐理由:Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers,提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。
Hugging Face 发布教程,演示如何使用 Better Transformer、fp16 和 CPU offload 优化 Bark 模型。基准测试显示,组合三种优化可将 Bark-large 的内存占用从 5GB 降至 2GB,速度提升 15%;批量处理时吞吐量最高提升 87%。
本文演示了利用开源平台 BentoML 部署 Hugging Face 上开源文生图模型 DeepFloyd IF 的完整流程。DeepFloyd IF 直接在像素空间工作,采用级联扩散模块将图像从 64x64 px 逐步放大至 1024x1024 px。用户可通过定义 Service、打包 Bento 并容器化,将其部署到 Kubernetes 或 Yatai 以实现生产环境服务。
Hugging Face 博客介绍了如何使用 Inference Endpoints 部署音乐生成模型 MusicGen。通过编写自定义 handler 处理不支持 transformers 高层 pipeline 的模型,利用 custom handlers 实现推理功能。
本文介绍如何在单张AMD GPU上使用ROCm运行开源大语言模型Vicuna 13B。该模型由LLaMA基础模型微调而来,使用约70,000条用户对话数据,训练成本约300美元。文中详细说明了使用GPTQ 4位量化版本以降低显存需求,并提供了在ROCm 5.4.3和PyTorch 2.0环境下部署与推理的步骤。
Hugging Face 发布新的文本生成解码方法 assisted generation,利用更小的 assistant 模型先批量生成候选 token,再由主模型一次前向验证。
Hugging Face 发布指南,展示如何使用 TensorFlow 和 TPU 从头训练掩码语言模型。教程涵盖从训练 Unigram 分词器到数据准备及最终模型训练上传的全流程,默认使用 BERT 大小的模型。通过利用 XLA 和 TPUStrategy,大部分 Hugging Face 模型可轻松在 TPU 上运行,无需复杂配置。
AWS Inferentia2 推理加速器使 Hugging Face Transformers 的延迟平均降低 4.5 倍,吞吐量提升 4 倍,超越了 NVIDIA A10G GPU 和 Inferentia1 的性能。
BLOOMZ 在 Habana Gaudi2 上推理性能优于 A100 80GB,176B 参数版本速度达 1.42 倍,7B 参数版本速度达 2.89 倍。 测试基于 Optimum Habana 库,使用 DeepSpeed-inference 实现模型并行,支持 16 位精度下的低延迟推理。
在 Intel Sapphire Rapids CPU 上,使用 Optimum Intel 和 OpenVINO 可显著加速 Stable Diffusion 推理。
Hugging Face 博客分享了其内部机器学习模型部署架构迁移的经验,决定将基于 CPU 的推理服务从 AWS ECS 切换至 Hugging Face Inference Endpoints。
本文通过基准测试验证了 Hugging Face Optimum Intel 在 Intel Sapphire Rapids CPU 上加速 PyTorch 模型推理的效果。测试涵盖 distilbert-base-uncased、bert-base-uncased 和 roberta-base 等 NLP 模型,结果显示使用 Optimum Intel 库能显著提升短长序列的分类任务预测性能。
Hugging Face Hub 已支持 8 类核心计算机视觉任务,涵盖图像分类、分割、目标检测、深度估计等,拥有超 3000 个模型和 100+ 数据集。生态内集成 timm、Diffusers 等第三方库,支持通过 Transformers Trainer API 进行微调,并兼容 MAE、CLIP 等预训练策略。
Hugging Face 和 Microsoft ONNX Runtime 团队合作,通过 Optimum 库集成 ONNX Runtime 来加速大型语言、语音和视觉模型的微调。
Hugging Face 宣布与百度 PaddlePaddle 开展开源合作,将 PaddlePaddle 模型库接入 Hugging Face Hub。用户可在 Hub 上找到超过 75 个 PaddlePaddle 模型(包括 ERNIE 3.0、UIE、PaddleOCR 等),并通过 Inference API 和交互 widget 直接调用。