跳到正文
3月16日周三
3月11日周五
3月2日周三
  1. Hugging Face Blog23

    BERT 101:解读 NLP 领域尖端模型

    BERT 是由 Google AI Language 于 2018 年开发的自然语言处理模型,利用 Transformer 架构实现了双向文本理解。该模型通过 3.3 亿词的数据集训练,解决了情感分析等 11 类常见 NLP 任务。其衍生版本 DistilBERT 速度提升 60%,同时保持了 95% 以上的性能。

2月11日周五
2月2日周三
2月1日周二
1月25日周二
1月21日周五
1月13日周四
1月12日周三
1月11日周二
12月23日周四
  1. Hugging Face Blog22

    Hugging Face AutoNLP 与 Prodigy 构建主动学习工作流

    Hugging Face 展示了使用 AutoNLP 框架和 Explosion 的 Prodigy 标注工具构建主动学习流水线的过程。在 BBC 新闻分类数据集上,AutoNLP 训练的多类分类模型达到 98.67% 准确率,支持成本低至每个模型 $10。随后团队利用 Prodigy 完成命名实体识别标注,并将数据转换为 JSONL 格式以训练实体识别模型。

12月21日周二
  1. Hugging Face Blog44

    Gradio 加入 Hugging Face

    Hugging Face 宣布收购机器学习初创公司 Gradio,旨在为用户、开发者和数据科学家提供工具以创建更好的模型。Gradio 是一个开源库,自 2019 年发布以来,已有超过 300,000 个演示应用基于其构建。此次收购将加强机器学习在各类用户中的可访问性,双方团队将共同推动 Gradio 的发展。

12月15日周三
  1. Hugging Face Blog33

    Perceiver IO:适用于任意模态的可扩展全注意力模型

    Hugging Face Transformers 新增 Perceiver IO,这是首个基于 Transformer 且适用于文本、图像、音频、视频及点云等任意模态及其组合的模型。该架构在潜在变量上使用自注意力,使计算量独立于输入大小,仅线性依赖输入规模。模型支持 256 或 512 个潜在变量,可实现图像分类及光流预测等任务。

12月8日周三
  1. Hugging Face Blog64

    Hugging Face 教程:从零开始训练 CodeParrot 代码生成模型

    Hugging Face 发布教程,介绍如何从零训练 110M 和 1.5B 参数的 GPT-2 模型 CodeParrot 以生成 Python 代码。该模型使用基于 180GB Python 代码清洗后的 50GB 数据集训练,并采用 🤗 Accelerate 库在 16 张 A100 GPU 上完成分布式训练。

    推荐理由:提供了训练 GPT-2 大模型的具体步骤,涵盖数据清洗、分词器设计和分布式训练,可复用于自研代码模型。

12月2日周四
11月30日周二
11月29日周一
11月19日周五
  1. Hugging Face Blog27

    Intel 技术加速 PyTorch 分布式微调

    在 Intel Xeon Scalable Ice Lake 集群上利用 AVX-512 和 VNNI 指令加速 PyTorch 分布式微调。通过部署 Intel 扩展库和 oneCCL 通信库,在 MRPC 数据集上对 BERT 模型进行微调。测试了单节点、双节点和四节点配置的加速效果,验证了 CPU 集群在短时长微调任务中的可行性。

11月15日周一
11月4日周四
10月26日周二
  1. Hugging Face Blog35

    Hugging Face 课程第二期发布及社区活动

    Hugging Face 课程第二部分将于 11 月 15 日发布,覆盖 token 分类、翻译等常见 NLP 任务,并深入讲解 Datasets 和 Tokenizers 工具。同期举办的社区活动包含为期两天的讲座及基于 NLP 任务的模型微调团队项目,由 AWS 赞助提供 Amazon SageMaker 免费算力,完成者可获证书。

10月25日周一
10月20日周三
  1. Hugging Face Blog37

    Hugging Face Blog 指出 Transformer 架构正成为机器学习通用架构

    Transformer 架构已扩展至 NLP 之外,正成为机器学习通用架构,在计算机视觉、语音等领域表现高效。Google Vision Transformer 和 CoAtNet 在 ImageNet 图像分类中创下新基准,且所需计算资源更少。行业正从从零训练模型转向使用现成模型进行微调,以更快交付业务价值。

10月13日周三
  1. Hugging Face Blog26

    使用遥感卫星图像微调 OpenAI CLIP 模型

    研究团队使用 RSICD、UCM 和 Sydney 数据集微调了 OpenAI 的 CLIP 模型,以提升其在遥感卫星图像上的性能。该模型支持通过文本查询在大型卫星图像集合中进行搜索,可用于监测气候变化或国土防御。训练过程结合了图像变换和 Marian MT 模型进行文本数据增强,以缓解过拟合并提高模型在零样本场景下的可用性。

10月5日周二
  1. Hugging Face Blog41

    使用 Gradio 在 Spaces 展示项目

    Gradio 与 Hugging Face Hub 集成使用户能利用 Inference API 通过几行代码演示模型。Spaces 支持免费托管基于 Python 的机器学习演示应用,创建仓库并选择 Gradio 为 SDK 即可快速部署。该集成支持 Transformers、spaCy 等框架,并可通过 Gradio Series 混合使用不同模型构建复杂演示。

9月14日周二
  1. Hugging Face Blog34

    Hugging Face 开源发布 Optimum:针对大规模 Transformer 的优化工具包

    Hugging Face 推出开源库 Optimum,旨在简化 Transformer 模型在特定硬件上的训练与推理性能优化。该工具包支持与 Intel 等硬件合作伙伴协作,通过集成 Intel Neural Compressor,简化了模型量化、低精度推理部署等复杂流程,帮助工程师更高效地利用硬件加速特性。

7月15日周四
7月13日周二
  1. Hugging Face Blog27

    spaCy 接入 Hugging Face Hub

    Hugging Face 将 spaCy 纳入其模型库,用户可通过一条命令上传 pipeline 包并生成元数据。Hub 目前提供 60 多个 spaCy 3.1 规范模型,支持命名实体识别(NER)的托管推理 API 及浏览器交互试用。用户还可利用 huggingface-hub 推送功能,将本地模型快速分享至社区。

7月8日周四
6月28日周一
6月3日周四
  1. Hugging Face Blog38

    GPT-Neo 与 Hugging Face 加速推理 API 中的少样本学习实践

    EleutherAI GPT-Neo 结合 Hugging Face 加速推理 API 支持少样本学习,API 提供高达 100 倍推理加速。GPT-Neo (2.7B) 需 3-4 个示例即可实现良好泛化,相比 GPT-3 (175B) 在零样本任务上表现较弱。通过调节温度、最大新 token 数及结束序列等超参数,可控制生成结果,但需注意情感分析等场景可能出现的错误预测风险。

5月25日周二
4月20日周二
4月16日周五
4月8日周四
3月31日周三