教程:使用 Hugging Face Transformers 与 Habana Gaudi 从零预训练 BERT-base
本教程演示如何利用 Hugging Face Transformers、Optimum Habana 和 Datasets 库,在 AWS 的 Habana Gaudi DL1 实例上通过掩码语言建模从零预训练 BERT-base。教程涵盖了数据集准备、训练新 Tokenizer 以及预处理等步骤,旨在利用 Gaudi 架构的成本性能优势加速模型开发。
本教程演示如何利用 Hugging Face Transformers、Optimum Habana 和 Datasets 库,在 AWS 的 Habana Gaudi DL1 实例上通过掩码语言建模从零预训练 BERT-base。教程涵盖了数据集准备、训练新 Tokenizer 以及预处理等步骤,旨在利用 Gaudi 架构的成本性能优势加速模型开发。
Hugging Face 发布博客,指导如何使用 Diffusers 库运行 Stable Diffusion 模型并自定义推理管道。
推荐理由:详解Stable Diffusion在Diffusers中的调用与底层机制,提供完整代码示例与自定义管道方法,适合开发者快速上手图像生成。
该教程展示了如何将 Hugging Face 的 ViT B/16 TensorFlow 模型部署至 Google Vertex AI 平台。 通过 google-cloud-aiplatform Python SDK 执行模型上传、端点创建及部署,利用 Vertex AI Model Registry 实现模型版本管理与自动扩缩容,无需编写大量代码即可实现 Kubernetes 级别的扩展性。
本文通过 Hugging Face Optimum Graphcore 库,展示了如何在 Graphcore IPU 上对预训练的 Vision Transformer (ViT) 模型进行微调。
Hugging Face 发布技术教程,结合 transformers、accelerate 和 bitsandbytes 库讲解 LLM.int8() 在大模型部署中的应用。文章通过 BLOOM-176B 和 OPT-175B 的测试数据证明,LLM.int8() 能在保持 FP16 推理性能的前提下将显存占用降低 4 倍,且针对小模型(如 T5-3B)的推理延迟优化策略也已同步更新。
推荐理由:Hugging Face 团队详细拆解了 LLM.int8() 的底层原理与集成实践,读者可借此实现大模型低显存推理的落地。
Hugging Face 推出新库 Skops,允许用户将 scikit-learn 模型托管在 Hugging Face Hub。该工具支持创建模型文档卡片,并通过 joblib 后端加载序列化模型。
Hugging Face 强调其 TensorFlow 模型均封装为 Keras Model 对象,允许用户直接调用 fit()、compile() 和 predict() 方法。文章指出 TF 与 Keras 及 tf.data 紧密集成,这种架构使 Hugging Face 的 transformers 库在 TensorFlow 后端下能无缝利用预训练模型进行高效推理与训练。
文章介绍如何利用 Docker 和 Kubernetes 扩展本地部署的 Vision Transformer (ViT) 模型。通过基于 TensorFlow Serving 基础镜像容器化应用逻辑,并结合 Google Kubernetes Engine (GKE) 管理集群,实现支持多用户的规模化部署。该流程支持 gRPC 和 HTTP/REST 端点,便于处理原始图像输入并返回预测结果。
该教程展示了 Sentence Transformers v3.0 之前的 SentenceTransformer.fit API 使用流程,现已过时。Hugging Face 官方建议使用 SentenceTransformerTrainer 配合新版指南进行 Embedding 模型训练。
Hugging Face 深度强化学习课程第八单元讲解近端策略优化(PPO),通过限制策略更新幅度提升训练稳定性。文章详细推导了基于概率比率的截断替代目标函数,解释了在 [1-ϵ, 1+ϵ] 区间内裁剪比率以防止策略剧烈变化的机制。随后使用 PyTorch 从零实现 PPO 架构,并在 CartPole-v1 和 LunarLander-v2 环境中验证实现的有效性。
Hugging Face 推出 Private Hub,允许企业在合规的私有环境中运行其完整的机器学习生态系统。该功能集成了 AutoTrain、Spaces 和 Inference API,支持模型微调、演示及推理部署,数据不出内网。更新显示,Private Hub 现已更名为 Enterprise Hub,不再提供本地部署,改为提供云端托管及混合云解决方案,并支持 SSO 等高级访问控制。
推荐理由:介绍了私有化部署方案如何帮助企业加速模型全生命周期开发。
Hugging Face 博客介绍了 Nyströmformer,该模型通过 Nyström 方法将标准自注意力的时间和内存复杂度从 O(n^2) 降低至 O(n)。 其核心机制是利用查询和键的段均值构造 32 或 64 个 landmark 点,避免直接计算完整的 QK^T 矩阵,从而在长序列(如 4096 或 8192 长度)下保持竞争性性能。
Hugging Face 为 Datasets 库新增了音频和图像数据的官方文档。Quickstart 更新了模态示例并引入 to_tf_dataset 函数以简化 TensorFlow 接入。新增的 ImageFolder 构建器无需脚本即可加载图像数据并支持通过元数据文件扩展至物体检测等任务。
Hugging Face 宣布通过 XLA 编译器显著加速 TensorFlow 文本生成,性能提升最高达 100 倍,在多数情况下比 PyTorch 快 9 倍。该方法通过在 tf.function 中启用 jit_compile 参数实现优化,并需对输入进行填充以固定张量维度,从而避免重复编译。
推荐理由:展示了XLA编译将TensorFlow文本生成提速至百倍甚至超越PyTorch的方法,给出了可直接复用的优化步骤。
Hugging Face 发布教程,指导开发者使用 TensorFlow Serving (TF Serving) 在本地部署基于 Hugging Face Transformers 的视觉模型。
Hugging Face 发布了深度强化学习课程第 7 单元,核心是讲解 Advantage Actor Critic (A2C) 算法。文章分析了此前 Reinforce 算法因蒙特卡洛采样导致的高方差问题,并阐述了 Actor-Critic 混合架构如何结合策略网络(Actor)与价值网络(Critic)来降低估计方差、提升训练稳定性。
动态对抗数据收集(DADC)通过多轮人工生成样本欺骗 SOTA 模型并重训,以解决静态基准饱和及偏差问题,提升模型鲁棒性。 文章以 MNIST 手写数字识别为例,使用 Hugging Face Spaces 构建交互演示:用户绘制数字,模型预测,错误样本被标记存入数据集并用于后续训练。
BLOOM 项目团队发布 176B 参数模型训练技术总结,详细介绍了基于 384 块 A100 GPU 的硬件架构与软件配置。文章深度解析了 Megatron-DeepSpeed 框架中 3D 并行(DP、TP、PP)与 ZeRO 分片机制,阐述了 BF16 优化器在避免溢出及提高训练稳定性中的作用。通过记录 48 节点集群训练过程中遇到的故障与优化策略,为大规模分布式 LLM 训练提供工程参考。
推荐理由:文章拆解了 Megatron-DeepSpeed 的 3D 并行机制与 BF16 优化策略,为大规模模型训练提供了工程参考。
Hugging Face 演示了如何利用 Sentence Transformers 库和 Gradio 构建基于语义搜索的播放列表生成器。该系统采用 sentence-transformers/msmarco-MiniLM-L-6-v3 模型,将歌词分割为段落并生成嵌入向量。通过设置 top_k=20 进行语义搜索,去重后通常可获取至少 9 首相关歌曲,实现了从文本提示到播放列表的生成。
Hugging Face 发布 176B 参数开源模型 BLOOM,支持 46 种自然语言和 13 种编程语言。该模型由 70 多个国家的 1000 余名研究者历时一年协作完成,并首次开放训练中间检查点与推理 API,支持学术界和独立开发者下载、运行及基于 Responsible AI 许可进行二次开发。
推荐理由:BLOOM 作为 176B 参数开源模型,开放了 46 种自然语言和 13 种编程语言的能力验证与二次开发入口。
Hugging Face 发布教程,指导用户利用 Inference API 对 Twitter 推文进行情感分析。
Hugging Face 在其深度强化学习课程第五单元中,使用 PyTorch 从零实现了基于策略的 Reinforce 算法。该方法直接优化策略分布,适用于高维动作空间,并通过学习随机策略解决了感知别名问题。课程后续将在 CartPole-v1 等环境中测试该算法的鲁棒性。
本文以 Sentence Transformers 为例,指导新手如何迈出机器学习第一步。该库能将文本或图像转换为嵌入向量,并利用余弦相似度等工具进行语义搜索。文中还分享了一套“火箭发射”式的项目策略,包括梳理工具能力、寻找 Hugging Face 数据集,以及从简单的语义搜索项目起步进行实践。
Hugging Face Accelerate 库支持通过 DeepSpeed ZeRO 实现大模型训练,无需修改代码即可利用 2 块 NVIDIA Titan RTX GPU 运行 900M 参数的 microsoft/deberta-v2-xlarge-mnli 模型。
Hugging Face 发布 Evaluation on the Hub 工具,允许用户在不编写代码的情况下评估 Hub 上的任何模型。该工具由 AutoTrain 提供支持,通过 Pull Request 在模型卡片中展示经过验证的性能结果,结果直接编码在元数据中。
嵌入是信息的数值化表示,能捕捉语义并用于构建搜索引擎与推荐系统等应用。使用开源 Sentence Transformers 库中的 "sentence-transformers/all-MiniLM-L6-v2" 模型,配合 Hugging Face Inference API,可以快速对 Medicare FAQ 数据集进行嵌入。该方法支持语义搜索,无需大规模标注数据即可实现文本相似度匹配。
Hugging Face 提供三种将 Transformers 模型转换为 ONNX 的方法。低级方法通过 torch.onnx API 导出,需手动配置动态轴;中级方法使用 transformers.onnx,利用配置对象简化流程;高级方法通过 Optimum 库调用 ORTModelForSequenceClassification,可直接加载模型进行推理。
Intel 正式加入 Hugging Face 硬件合作伙伴计划。双方将基于 Optimum 开源库与 Intel Neural Compressor (INC) 协作,通过量化工具简化 Transformer 模型在 Intel Xeon 平台上的加速训练与推理。此前在 Habana Gaudi 加速器上的测试显示,其性价比相比 GPU 高出 40%。
Hugging Face 发布深度强化学习课程第三单元,介绍 Deep Q-Learning 算法。该算法用神经网络替代 Q-table,通过堆叠 4 帧灰度化至 84x84 输入,利用 RL-Zoo 框架训练智能体通关 Space Invaders。
Hugging Face 发布教程,逐步推导 DDPM 原理并在 PyTorch 中实现 U-Net 去噪网络。教程涵盖前向加噪、反向采样及损失函数推导,在 Fashion-MNIST 上训练展示了扩散模型生成过程。
Graphcore 与 Hugging Face 扩展了 Hugging Face Optimum 在 IPU 上的模型支持,开发者可访问 10 个覆盖 NLP、语音和计算机视觉的 Transformer 模型。这些模型包含 BERT、ViT、GPT-2、T5 和 HuBERT 等,均提供 IPU 配置文件及预训练或微调权重。
Hugging Face Hub 正式推出 Pull Requests 和 Discussions 功能,旨在促进模型、数据集和 Spaces 的社区协作。 该功能支持所有用户创建和参与讨论及拉取请求,通过专用的 refs 分支直接处理贡献,避免了使用 forks 和 branches,为机器学习软件提供了简化的协作体验。
微软 TAPEX 模型利用合成 SQL 查询执行数据替代真实数据,成功在四个表格问答基准上刷新 SOTA 纪录。该模型基于 BART 架构,在 WikiTableQuestions 数据集上的准确率达到 57.5%,超越了此前的最佳结果。其微调脚本已官方集成至 Hugging Face Transformers 4.19.0 版本。
Hugging Face 课程解析 Q-Learning,这是一种基于价值的离策略算法,利用时序差分方法更新动作价值函数。 算法通过 Q 表存储状态-动作对的价值,训练初期依赖 Epsilon Greedy 策略平衡探索与利用。课程要求在 Frozen Lake v1 和自动驾驶出租车环境中从零实现该算法。
Hugging Face 多模态学习组发布伦理章程,旨在将数据隐私、算法偏见等伦理原则形式化,作为机器学习全生命周期的核心指引。该文档基于团队与专家讨论制定,明确了禁止生成仇恨言论、泄露个人可识别信息及在高风险领域误用模型等内容策略。团队承诺通过透明披露决策、共享可复现成果及持续自我批评,平衡开放性与公平性,缓解潜在社会危害。
Hugging Face 发布强化学习课程第二单元第一部分,深入讲解基于价值的方法与 Q-Learning 算法。该单元涵盖状态-价值函数、蒙特卡罗方法与时间差分学习(TD Learning)的区别,并指导开发者从零实现 Q-Learning 智能体。课程通过在 Frozen-Lake-v1 和出租车导航环境中训练智能体,为后续掌握能击败人类水平的 Deep Q-Learning 奠定基础。
Hugging Face 推出 Fellowship Program,旨在通过提供算力、物资及官方认可,支持机器学习开源生态的关键贡献者扩大影响力。该计划不设截止时间,通过团队成员或现有 Fellow 提名进行选拔,入选者并非公司员工,但可在公开场合展示其 Hugging Face Fellow 身份。
Gradio 3.0 发布了基于 Svelte 的前端重构,显著减小了 payload 并提升了页面加载速度。该版本引入了 Gradio Blocks 低层 API,支持通过 Python 构建自定义布局和数据流的多步骤 Web 应用。Hugging Face 同期举办 Gradio Blocks Party 竞赛,旨在鼓励用户利用新组件开发机器学习演示。
Hugging Face 发布机器学习总监系列第二部分,聚焦 SaaS 领域,收录 Salesforce 和 Amplitude 高管对 ML 应用与挑战的见解。Salesforce 团队指出 NLP 可优化服务路由,ML 系统比规则系统更简洁;Amplitude 负责人强调缺乏覆盖广泛行业用例的训练数据是主要障碍。
Hugging Face 开源库 Optimum 1.2 新增推理与 transformers pipelines 支持,开发者可直接将 AutoModelForXxx 类替换为 ORTModelForXxx 类并在 ONNX Runtime 上运行。
推荐理由:通过加速问答模型的全流程实操,展示了如何将优化方法迁移至现有的 BERT 级 NLP 任务。