Nyströmformer:如何通过 Nyström 方法以线性时间和内存近似自注意力机制
Hugging Face 博客介绍了 Nyströmformer,该模型通过 Nyström 方法将标准自注意力的时间和内存复杂度从 O(n^2) 降低至 O(n)。 其核心机制是利用查询和键的段均值构造 32 或 64 个 landmark 点,避免直接计算完整的 QK^T 矩阵,从而在长序列(如 4096 或 8192 长度)下保持竞争性性能。
Hugging Face 博客介绍了 Nyströmformer,该模型通过 Nyström 方法将标准自注意力的时间和内存复杂度从 O(n^2) 降低至 O(n)。 其核心机制是利用查询和键的段均值构造 32 或 64 个 landmark 点,避免直接计算完整的 QK^T 矩阵,从而在长序列(如 4096 或 8192 长度)下保持竞争性性能。
Hugging Face 为 Datasets 库新增了音频和图像数据的官方文档。Quickstart 更新了模态示例并引入 to_tf_dataset 函数以简化 TensorFlow 接入。新增的 ImageFolder 构建器无需脚本即可加载图像数据并支持通过元数据文件扩展至物体检测等任务。
Hugging Face 宣布通过 XLA 编译器显著加速 TensorFlow 文本生成,性能提升最高达 100 倍,在多数情况下比 PyTorch 快 9 倍。该方法通过在 tf.function 中启用 jit_compile 参数实现优化,并需对输入进行填充以固定张量维度,从而避免重复编译。
推荐理由:展示了XLA编译将TensorFlow文本生成提速至百倍甚至超越PyTorch的方法,给出了可直接复用的优化步骤。
Hugging Face 发布教程,指导开发者使用 TensorFlow Serving (TF Serving) 在本地部署基于 Hugging Face Transformers 的视觉模型。
Hugging Face 发布了深度强化学习课程第 7 单元,核心是讲解 Advantage Actor Critic (A2C) 算法。文章分析了此前 Reinforce 算法因蒙特卡洛采样导致的高方差问题,并阐述了 Actor-Critic 混合架构如何结合策略网络(Actor)与价值网络(Critic)来降低估计方差、提升训练稳定性。
动态对抗数据收集(DADC)通过多轮人工生成样本欺骗 SOTA 模型并重训,以解决静态基准饱和及偏差问题,提升模型鲁棒性。 文章以 MNIST 手写数字识别为例,使用 Hugging Face Spaces 构建交互演示:用户绘制数字,模型预测,错误样本被标记存入数据集并用于后续训练。
Hugging Face 演示了如何利用 Sentence Transformers 库和 Gradio 构建基于语义搜索的播放列表生成器。该系统采用 sentence-transformers/msmarco-MiniLM-L-6-v3 模型,将歌词分割为段落并生成嵌入向量。通过设置 top_k=20 进行语义搜索,去重后通常可获取至少 9 首相关歌曲,实现了从文本提示到播放列表的生成。
Hugging Face 发布教程,指导用户利用 Inference API 对 Twitter 推文进行情感分析。
Hugging Face 在其深度强化学习课程第五单元中,使用 PyTorch 从零实现了基于策略的 Reinforce 算法。该方法直接优化策略分布,适用于高维动作空间,并通过学习随机策略解决了感知别名问题。课程后续将在 CartPole-v1 等环境中测试该算法的鲁棒性。
本文以 Sentence Transformers 为例,指导新手如何迈出机器学习第一步。该库能将文本或图像转换为嵌入向量,并利用余弦相似度等工具进行语义搜索。文中还分享了一套“火箭发射”式的项目策略,包括梳理工具能力、寻找 Hugging Face 数据集,以及从简单的语义搜索项目起步进行实践。
OpenAI 针对 DALL·E 2 实施了多项预训练安全措施,以降低强大图像生成模型的相关风险。通过设置防护栏,防止生成图像违反其内容政策,从而在向广泛用户开放该模型时保障合规性。
Hugging Face Accelerate 库支持通过 DeepSpeed ZeRO 实现大模型训练,无需修改代码即可利用 2 块 NVIDIA Titan RTX GPU 运行 900M 参数的 microsoft/deberta-v2-xlarge-mnli 模型。
嵌入是信息的数值化表示,能捕捉语义并用于构建搜索引擎与推荐系统等应用。使用开源 Sentence Transformers 库中的 "sentence-transformers/all-MiniLM-L6-v2" 模型,配合 Hugging Face Inference API,可以快速对 Medicare FAQ 数据集进行嵌入。该方法支持语义搜索,无需大规模标注数据即可实现文本相似度匹配。
Hugging Face 提供三种将 Transformers 模型转换为 ONNX 的方法。低级方法通过 torch.onnx API 导出,需手动配置动态轴;中级方法使用 transformers.onnx,利用配置对象简化流程;高级方法通过 Optimum 库调用 ORTModelForSequenceClassification,可直接加载模型进行推理。
大型神经网络是近期多项AI进展的核心,训练这类模型是一项具有挑战性的工程与研究任务,需要协调一组GPU执行同步计算。
Hugging Face 发布深度强化学习课程第三单元,介绍 Deep Q-Learning 算法。该算法用神经网络替代 Q-table,通过堆叠 4 帧灰度化至 84x84 输入,利用 RL-Zoo 框架训练智能体通关 Space Invaders。
Hugging Face 发布教程,逐步推导 DDPM 原理并在 PyTorch 中实现 U-Net 去噪网络。教程涵盖前向加噪、反向采样及损失函数推导,在 Fashion-MNIST 上训练展示了扩散模型生成过程。
Cohere、OpenAI 和 AI21 Labs 联合制定了一套适用于任何开发或部署大型语言模型组织的初步最佳实践指南。
Hugging Face 课程解析 Q-Learning,这是一种基于价值的离策略算法,利用时序差分方法更新动作价值函数。 算法通过 Q 表存储状态-动作对的价值,训练初期依赖 Epsilon Greedy 策略平衡探索与利用。课程要求在 Frozen Lake v1 和自动驾驶出租车环境中从零实现该算法。
Hugging Face 发布强化学习课程第二单元第一部分,深入讲解基于价值的方法与 Q-Learning 算法。该单元涵盖状态-价值函数、蒙特卡罗方法与时间差分学习(TD Learning)的区别,并指导开发者从零实现 Q-Learning 智能体。课程通过在 Frozen-Lake-v1 和出租车导航环境中训练智能体,为后续掌握能击败人类水平的 Deep Q-Learning 奠定基础。
Hugging Face 推出深度强化学习免费课程,第一章讲解核心概念并指导训练首个着陆智能体。课程涵盖 Markov 决策过程、奖励假设等理论,支持使用 Stable Baselines3 等库在 Unity 环境训练。学员可单行代码发布智能体至 Hugging Face Hub 参与挑战。
Hugging Face 发布 Accelerate 库,支持通过 PyTorch FullyShardedDataParallel(FSDP)以无代码修改方式训练大模型。测试显示,FSDP 在 GPT-2 Large 上将最大批处理大小提升至 DDP 的 2-3 倍,并成功训练了 DDP 因内存溢出无法处理的 GPT-2 XL(1.5B)模型。
利用 HuggingFace AutoTrain 和 Kili 构建文本分类主动学习管道,通过迭代标注与模型重训优化情感分析。示例使用 Google Play Store 上约 4 万条 Medium 应用评论,定义了订阅、内容、界面及用户体验四个分类。Kili 提供协作标注工具与 API,支持多类别文本分类及命名实体识别,AutoTrain 则自动化数据清洗、模型选择及超参数优化。
summary_zh: Habana Gaudi 加速器在训练机器学习模型时,相比最新 GPU 实例提供高达 40% 的性价比优势。本文演示了如何在 AWS EC2 实例上配置 Gaudi 环境,并微调 BERT 模型完成 GLUE 基准中的 MRPC 文本分类任务。
Hugging Face 博客展示了利用其生态系统工具模拟真实客户服务场景的方法。该示例将筛选不满客户消息建模为文本分类任务,推荐 Amazon reviews multi 数据集,因其 1-5 星级标签可映射至情感类别,且支持多语言处理。
Hugging Face Hub 新增 emissions_threshold 参数,支持基于 CO2 排放量筛选低排放模型;transformers 库集成 codecarbon,实现训练时自动追踪碳足迹。该功能允许用户通过 API 指定排放量区间检索模型,并将数据记录在 Model Card 中,以提升 ML 开发的透明度。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,而是采用单模型文件策略,确保每个模型的前向传播代码集中在单一文件中。此举旨在降低开源贡献者的门槛,使修补缺陷或添加新模型时无需担心破坏其他代码,同时提升代码可读性以适应机器学习领域的快速演进。
本教程演示如何使用 Hugging Face 自定义数据集微调 Segformer 模型,以实现人行道语义分割。该模型采用层级 Transformer 编码器与简单 MLP 解码器,在多个常见数据集上取得最先进的性能。通过加载 segments/sidewalk-semantic 数据集并应用数据增强,可实现针对特定场景的模型优化。
Hugging Face 官方展示如何利用 datasets 库、sentence_transformers 和 faiss 构建图像搜索应用。该方案使用英国图书馆的书籍插图数据集,通过 datasets 的 ImageFolder 加载器读取图像,并借助 faiss 索引实现基于向量相似度的图像检索,超越了传统标签搜索。
本文教程指导用户通过 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 文本分类推理。AWS 称 Inferentia 相比同代 GPU 实例推理成本降低 80%,吞吐量提升 2.3 倍。流程包括使用 AWS Neuron SDK 将模型转换为 Neuron 格式,并部署至 Amazon SageMaker 实时推理端点。
Hugging Face 在 Transformers 中发布了受限束搜索(constrained beam search)功能,允许用户在生成阶段通过 force_words_ids 参数强制输出包含特定词组或满足析取约束。
BERT 是由 Google AI Language 于 2018 年开发的自然语言处理模型,利用 Transformer 架构实现了双向文本理解。该模型通过 3.3 亿词的数据集训练,解决了情感分析等 11 类常见 NLP 任务。其衍生版本 DistilBERT 速度提升 60%,同时保持了 95% 以上的性能。
教程演示利用 Hugging Face datasets 和 transformers 库微调 Vision Transformer (ViT) 处理图像分类。使用 google/vit-base-patch16-224-in21k 模型及其配套的 ViTImageProcessor,通过加载 beans 数据集并应用标准化预处理,将图像转换为模型可接受的张量输入以完成微调流程。
Hugging Face 发布 Python 情感分析入门指南,展示如何用预训练模型实现自动化情感标记。教程提供 5 行代码示例,利用 `transformers` 库的 `pipeline` 函数调用 Hub 上超过 215 个公开模型,无需机器学习经验即可处理数据。
Meta AI 的 Wav2Vec2 模型因 Transformer 架构的 O(n²) 复杂度限制,直接处理长音频文件会导致内存溢出。通过在 Transformers 中利用 Connectionist Temporal Classification (CTC) 架构特性并设置 `chunk_length_s` 参数,可实现任意长度文件的自动语音识别 (ASR)。
Hugging Face 在 huggingface_hub 中推出了增强搜索功能,新增 ModelSearchArguments 和 ModelFilter 类,支持在 Python 环境中通过程序化接口按任务、数据集、框架等条件检索模型与数据集。
Hugging Face Infinity 在 Intel Xeon CPU 上实现毫秒级延迟,DistilBERT 模型相比原生 transformers 在 Ice Lake 实例上延迟和吞吐量最高提升 800%。
本文是 Hugging Face 发布的分步指南,介绍如何为 Wav2Vec2 微调模型添加 n-gram 语言模型以提升语音识别效果。指南详细展示了使用 pyctcdecode 和 KenLM 构建 5-gram 模型,并将其与 Wav2Vec2ProcessorWithLM 结合的方法。
本文演示了利用 Hugging Face Inference Toolkit 在 Amazon SageMaker 上部署 GPT-J 6B 模型,以支持实时推理。
Hugging Face 展示了使用 AutoNLP 框架和 Explosion 的 Prodigy 标注工具构建主动学习流水线的过程。在 BBC 新闻分类数据集上,AutoNLP 训练的多类分类模型达到 98.67% 准确率,支持成本低至每个模型 $10。随后团队利用 Prodigy 完成命名实体识别标注,并将数据转换为 JSONL 格式以训练实体识别模型。