Hugging Face 完成 1 亿美元 C 轮融资
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia 和 Coatue 等参投。该平台目前托管超过 10 万个预训练模型和 1 万个数据集,被 1 万多家公司用于构建机器学习技术。Hugging Face 表示将利用新资金加强研发、开源及负责任的 AI 普及。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia 和 Coatue 等参投。该平台目前托管超过 10 万个预训练模型和 1 万个数据集,被 1 万多家公司用于构建机器学习技术。Hugging Face 表示将利用新资金加强研发、开源及负责任的 AI 普及。
Hugging Face 推出深度强化学习免费课程,第一章讲解核心概念并指导训练首个着陆智能体。课程涵盖 Markov 决策过程、奖励假设等理论,支持使用 Stable Baselines3 等库在 Unity 环境训练。学员可单行代码发布智能体至 Hugging Face Hub 参与挑战。
Hugging Face 发布 Accelerate 库,支持通过 PyTorch FullyShardedDataParallel(FSDP)以无代码修改方式训练大模型。测试显示,FSDP 在 GPT-2 Large 上将最大批处理大小提升至 DDP 的 2-3 倍,并成功训练了 DDP 因内存溢出无法处理的 GPT-2 XL(1.5B)模型。
利用 HuggingFace AutoTrain 和 Kili 构建文本分类主动学习管道,通过迭代标注与模型重训优化情感分析。示例使用 Google Play Store 上约 4 万条 Medium 应用评论,定义了订阅、内容、界面及用户体验四个分类。Kili 提供协作标注工具与 API,支持多类别文本分类及命名实体识别,AutoTrain 则自动化数据清洗、模型选择及超参数优化。
summary_zh: Habana Gaudi 加速器在训练机器学习模型时,相比最新 GPU 实例提供高达 40% 的性价比优势。本文演示了如何在 AWS EC2 实例上配置 Gaudi 环境,并微调 BERT 模型完成 GLUE 基准中的 MRPC 文本分类任务。
Hugging Face 启动教育计划,旨在2023年底前教授500万人机器学习。平台提供NLP、深度强化学习等免费课程,并面向教师提供多语言教学工具包与社区协作资源。
Hugging Face 博客展示了利用其生态系统工具模拟真实客户服务场景的方法。该示例将筛选不满客户消息建模为文本分类任务,推荐 Amazon reviews multi 数据集,因其 1-5 星级标签可映射至情感类别,且支持多语言处理。
Hugging Face Hub 新增 emissions_threshold 参数,支持基于 CO2 排放量筛选低排放模型;transformers 库集成 codecarbon,实现训练时自动追踪碳足迹。该功能允许用户通过 API 指定排放量区间检索模型,并将数据记录在 Model Card 中,以提升 ML 开发的透明度。
Hugging Face 机器学习工程师 Lewis Tunstall 分享了他与 Leandro von Werra 合作出版《NLP with Transformers》书籍的经历,该书旨在填补 Transformer 领域的信息空白。 他在 Hugging Face 专注于利用 ONNX 格式导出模型,通过一行代码简化部署流程,从而优化延迟和吞吐量,解决生产环境中的 MLOps 挑战。
Habana Labs 与 Hugging Face 合作,通过集成 SynapseAI 软件套件与 Hugging Face Optimum 开源库,简化在 Habana Gaudi 处理器上训练 Transformer 模型流程。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,而是采用单模型文件策略,确保每个模型的前向传播代码集中在单一文件中。此举旨在降低开源贡献者的门槛,使修补缺陷或添加新模型时无需担心破坏其他代码,同时提升代码可读性以适应机器学习领域的快速演进。
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成至 transformers 库和 Hugging Face Hub。该方法利用自回归序列建模根据目标回报生成未来动作,替代传统价值函数最大化过程。用户可获取 9 个针对 Gym 连续控制任务的预训练检查点,并通过设定目标回报来调控策略表现,适用于 Atari 等场景及游戏 AI 难度调节。
Hugging Face 机器学习专家系列节目邀请到曾创立并联合领导 Google 伦理 AI 团队的 Margaret Mitchell 担任嘉宾。她分享了在微软开发 Seeing AI 应用时,因发现视觉模型对爆炸场景产生“美丽”等错误描述而觉醒伦理 AI 重要性的经历。
Hugging Face 推出为期 9 个月的 AI 研究驻留项目,参与者将与科学团队合作探索机器学习前沿技术并公开发表研究成果。该项目旨在推动 AI 领域的多样性与包容性,特别鼓励来自边缘化群体或致力于社会正向影响的研究者申请。申请需展示编程能力与数学基础,截止日期为 4 月 3 日,且仅接受全职参与。
本教程演示如何使用 Hugging Face 自定义数据集微调 Segformer 模型,以实现人行道语义分割。该模型采用层级 Transformer 编码器与简单 MLP 解码器,在多个常见数据集上取得最先进的性能。通过加载 segments/sidewalk-semantic 数据集并应用数据增强,可实现针对特定场景的模型优化。
Hugging Face 官方展示如何利用 datasets 库、sentence_transformers 和 faiss 构建图像搜索应用。该方案使用英国图书馆的书籍插图数据集,通过 datasets 的 ImageFolder 加载器读取图像,并借助 faiss 索引实现基于向量相似度的图像检索,超越了传统标签搜索。
本文教程指导用户通过 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 文本分类推理。AWS 称 Inferentia 相比同代 GPU 实例推理成本降低 80%,吞吐量提升 2.3 倍。流程包括使用 AWS Neuron SDK 将模型转换为 Neuron 格式,并部署至 Amazon SageMaker 实时推理端点。
Hugging Face 在 Transformers 中发布了受限束搜索(constrained beam search)功能,允许用户在生成阶段通过 force_words_ids 参数强制输出包含特定词组或满足析取约束。
BERT 是由 Google AI Language 于 2018 年开发的自然语言处理模型,利用 Transformer 架构实现了双向文本理解。该模型通过 3.3 亿词的数据集训练,解决了情感分析等 11 类常见 NLP 任务。其衍生版本 DistilBERT 速度提升 60%,同时保持了 95% 以上的性能。
教程演示利用 Hugging Face datasets 和 transformers 库微调 Vision Transformer (ViT) 处理图像分类。使用 google/vit-base-patch16-224-in21k 模型及其配套的 ViTImageProcessor,通过加载 beans 数据集并应用标准化预处理,将图像转换为模型可接受的张量输入以完成微调流程。
Hugging Face 发布 Python 情感分析入门指南,展示如何用预训练模型实现自动化情感标记。教程提供 5 行代码示例,利用 `transformers` 库的 `pipeline` 函数调用 Hub 上超过 215 个公开模型,无需机器学习经验即可处理数据。
Meta AI 的 Wav2Vec2 模型因 Transformer 架构的 O(n²) 复杂度限制,直接处理长音频文件会导致内存溢出。通过在 Transformers 中利用 Connectionist Temporal Classification (CTC) 架构特性并设置 `chunk_length_s` 参数,可实现任意长度文件的自动语音识别 (ASR)。
Hugging Face 在 huggingface_hub 中推出了增强搜索功能,新增 ModelSearchArguments 和 ModelFilter 类,支持在 Python 环境中通过程序化接口按任务、数据集、框架等条件检索模型与数据集。
Hugging Face 宣布将 Stable-Baselines3 集成至 Hugging Face Hub。该集成允许用户通过 huggingface_sb3 库上传训练好的深度强化学习模型,并从社区下载模型以支持 CartPole、Space Invaders 等环境中的智能体测试。
Hugging Face Infinity 在 Intel Xeon CPU 上实现毫秒级延迟,DistilBERT 模型相比原生 transformers 在 Ice Lake 实例上延迟和吞吐量最高提升 800%。
本文是 Hugging Face 发布的分步指南,介绍如何为 Wav2Vec2 微调模型添加 n-gram 语言模型以提升语音识别效果。指南详细展示了使用 pyctcdecode 和 KenLM 构建 5-gram 模型,并将其与 Wav2Vec2ProcessorWithLM 结合的方法。
本文演示了利用 Hugging Face Inference Toolkit 在 Amazon SageMaker 上部署 GPT-J 6B 模型,以支持实时推理。
Hugging Face 展示了使用 AutoNLP 框架和 Explosion 的 Prodigy 标注工具构建主动学习流水线的过程。在 BBC 新闻分类数据集上,AutoNLP 训练的多类分类模型达到 98.67% 准确率,支持成本低至每个模型 $10。随后团队利用 Prodigy 完成命名实体识别标注,并将数据转换为 JSONL 格式以训练实体识别模型。
Hugging Face 宣布收购机器学习初创公司 Gradio,旨在为用户、开发者和数据科学家提供工具以创建更好的模型。Gradio 是一个开源库,自 2019 年发布以来,已有超过 300,000 个演示应用基于其构建。此次收购将加强机器学习在各类用户中的可访问性,双方团队将共同推动 Gradio 的发展。
Hugging Face Transformers 新增 Perceiver IO,这是首个基于 Transformer 且适用于文本、图像、音频、视频及点云等任意模态及其组合的模型。该架构在潜在变量上使用自注意力,使计算量独立于输入大小,仅线性依赖输入规模。模型支持 256 或 512 个潜在变量,可实现图像分类及光流预测等任务。
Hugging Face 发布教程,介绍如何从零训练 110M 和 1.5B 参数的 GPT-2 模型 CodeParrot 以生成 Python 代码。该模型使用基于 180GB Python 代码清洗后的 50GB 数据集训练,并采用 🤗 Accelerate 库在 16 张 A100 GPU 上完成分布式训练。
推荐理由:提供了训练 GPT-2 大模型的具体步骤,涵盖数据清洗、分词器设计和分布式训练,可复用于自研代码模型。
Hugging Face 发布首个自研 Unity ML-Agents 深度强化学习环境 Snowball Fight,支持用户在 Hugging Face Spaces 在线对战。该平台允许开源托管训练环境与模型,并计划在后续版本中支持 2vs2 协作模式,采用 MA-POCA 算法训练团队行为。
Hugging Face 发布了 Optimum 库,用于在 Graphcore IPU 等硬件平台上降低 Transformer 模型的预测延迟。 该指南展示了如何使用 BERT 模型在 IPU 上执行微调,通过 Optimum-Graphcore 包和 PopTorch 框架实现推理加速。
Hugging Face 团队推出了名为 Data Measurements Tool(DMT)的开源工具和 Python 库,用于构建、测量和比较数据集。该工具结合 Hugging Face Hub 和 Streamlit,提供无代码界面,支持自动计算描述性统计和分布性统计指标。
在 Intel Xeon Scalable Ice Lake 集群上利用 AVX-512 和 VNNI 指令加速 PyTorch 分布式微调。通过部署 Intel 扩展库和 oneCCL 通信库,在 MRPC 数据集上对 BERT 模型进行微调。测试了单节点、双节点和四节点配置的加速效果,验证了 CPU 集群在短时长微调任务中的可行性。
XLS-R 是 XLSR 的继任者,于 2021 年 11 月发布,使用 128 种语言的近 50 万小时音频数据进行自监督预训练,参数规模从 300M 到 2B。
Hugging Face 与 Intel 合作,通过 Intel 软件优化现代 CPU 上的 BERT 类模型推理。新一代 Ice Lake Xeon CPU 在 NLP 任务上的推理速度比 Cascade Lake 快 75%。文章介绍了利用 Intel oneAPI、oneMKL 等软件组件进行内存管理和高效并行计算,以最大化 CPU 性能。
Hugging Face 课程第二部分将于 11 月 15 日发布,覆盖 token 分类、翻译等常见 NLP 任务,并深入讲解 Datasets 和 Tokenizers 工具。同期举办的社区活动包含为期两天的讲座及基于 NLP 任务的模型微调团队项目,由 AWS 赞助提供 Amazon SageMaker 免费算力,完成者可获证书。
作者对 Megatron-Turing NLG 530B 等巨型模型趋势持保留态度,认为其高成本与碳足迹难以匹配多数业务价值。文章建议优先使用预训练模型、选择更小模型(如 T0)并进行微调,而非盲目追求参数规模。
Hugging Face 团队在“训练史上最佳句向量模型”项目中,利用 10 亿句对训练数据开发了最先进的句向量模型。该模型基于 Transformer 架构,采用 InfoNCE 对比学习方法,通过增大批量规模、引入困难负样本及跨数据集混合批次优化性能。