Wav2Vec2 结合 n-gram 语言模型提升语音识别准确率指南
本文是 Hugging Face 发布的分步指南,介绍如何为 Wav2Vec2 微调模型添加 n-gram 语言模型以提升语音识别效果。指南详细展示了使用 pyctcdecode 和 KenLM 构建 5-gram 模型,并将其与 Wav2Vec2ProcessorWithLM 结合的方法。
本文是 Hugging Face 发布的分步指南,介绍如何为 Wav2Vec2 微调模型添加 n-gram 语言模型以提升语音识别效果。指南详细展示了使用 pyctcdecode 和 KenLM 构建 5-gram 模型,并将其与 Wav2Vec2ProcessorWithLM 结合的方法。
本文演示了利用 Hugging Face Inference Toolkit 在 Amazon SageMaker 上部署 GPT-J 6B 模型,以支持实时推理。
Hugging Face 展示了使用 AutoNLP 框架和 Explosion 的 Prodigy 标注工具构建主动学习流水线的过程。在 BBC 新闻分类数据集上,AutoNLP 训练的多类分类模型达到 98.67% 准确率,支持成本低至每个模型 $10。随后团队利用 Prodigy 完成命名实体识别标注,并将数据转换为 JSONL 格式以训练实体识别模型。
Hugging Face 发布教程,介绍如何从零训练 110M 和 1.5B 参数的 GPT-2 模型 CodeParrot 以生成 Python 代码。该模型使用基于 180GB Python 代码清洗后的 50GB 数据集训练,并采用 🤗 Accelerate 库在 16 张 A100 GPU 上完成分布式训练。
推荐理由:提供了训练 GPT-2 大模型的具体步骤,涵盖数据清洗、分词器设计和分布式训练,可复用于自研代码模型。
Hugging Face 发布了 Optimum 库,用于在 Graphcore IPU 等硬件平台上降低 Transformer 模型的预测延迟。 该指南展示了如何使用 BERT 模型在 IPU 上执行微调,通过 Optimum-Graphcore 包和 PopTorch 框架实现推理加速。
在 Intel Xeon Scalable Ice Lake 集群上利用 AVX-512 和 VNNI 指令加速 PyTorch 分布式微调。通过部署 Intel 扩展库和 oneCCL 通信库,在 MRPC 数据集上对 BERT 模型进行微调。测试了单节点、双节点和四节点配置的加速效果,验证了 CPU 集群在短时长微调任务中的可行性。
XLS-R 是 XLSR 的继任者,于 2021 年 11 月发布,使用 128 种语言的近 50 万小时音频数据进行自监督预训练,参数规模从 300M 到 2B。
Hugging Face 与 Intel 合作,通过 Intel 软件优化现代 CPU 上的 BERT 类模型推理。新一代 Ice Lake Xeon CPU 在 NLP 任务上的推理速度比 Cascade Lake 快 75%。文章介绍了利用 Intel oneAPI、oneMKL 等软件组件进行内存管理和高效并行计算,以最大化 CPU 性能。
Hugging Face 课程第二部分将于 11 月 15 日发布,覆盖 token 分类、翻译等常见 NLP 任务,并深入讲解 Datasets 和 Tokenizers 工具。同期举办的社区活动包含为期两天的讲座及基于 NLP 任务的模型微调团队项目,由 AWS 赞助提供 Amazon SageMaker 免费算力,完成者可获证书。
研究团队使用 RSICD、UCM 和 Sydney 数据集微调了 OpenAI 的 CLIP 模型,以提升其在遥感卫星图像上的性能。该模型支持通过文本查询在大型卫星图像集合中进行搜索,可用于监测气候变化或国土防御。训练过程结合了图像变换和 Marian MT 模型进行文本数据增强,以缓解过拟合并提高模型在零样本场景下的可用性。
Gradio 与 Hugging Face Hub 集成使用户能利用 Inference API 通过几行代码演示模型。Spaces 支持免费托管基于 Python 的机器学习演示应用,创建仓库并选择 Gradio 为 SDK 即可快速部署。该集成支持 Transformers、spaCy 等框架,并可通过 Gradio Series 混合使用不同模型构建复杂演示。
该教程展示了如何利用 Streamlit 在 Hugging Face Spaces 上托管机器学习模型和可视化数据集。通过代码示例,作者演示了如何构建基于 GPT-2 和 XLNet 的“Write with Transformer”交互界面,并集成 hyperparameters 调节。
EleutherAI GPT-Neo 结合 Hugging Face 加速推理 API 支持少样本学习,API 提供高达 100 倍推理加速。GPT-Neo (2.7B) 需 3-4 个示例即可实现良好泛化,相比 GPT-3 (175B) 在零样本任务上表现较弱。通过调节温度、最大新 token 数及结束序列等超参数,可控制生成结果,但需注意情感分析等场景可能出现的错误预测风险。
Gradio 2.0 允许通过一行代码加载 Hugging Face 模型并生成 GUI,支持调用托管 Inference API 或本地运行。该版本还支持将多个模型作为组件进行并行比较或串联组合,例如仅用 3 行代码即可构建翻译与摘要应用。
该基准测试基于 Hugging Face transformers v4.5.0、PyTorch 1.8.1 和 TensorFlow 2.4.0,在 AWS c5.metal 实例(Intel Xeon Platinum 8275 CPU)上进行。
Hugging Face 与 Amazon SageMaker 合作推出优化的深度学习容器,支持通过一行代码启动 Transformers 模型训练。
Hugging Face 官方博客发布技术文章,深入解析 BigBird 模型中块稀疏注意力机制的实现原理。
社区成员 Maxence Dominici 展示了将 Hugging Face Transformers 的情感分析管道部署到 Google Cloud 的实践。
本教程展示如何使用 Hugging Face Transformers 库微调 Wav2Vec2 模型,将其应用于英语自动语音识别(ASR)。
作者基于 Hugging Face 实践经验,提出构建神经网络需先深入分析数据分布与标签平衡,再运行简单基线模型以建立合理对比基准。随后通过过拟合小批量数据(如 16 个样本)并移除正则化,若损失值未降至 0,则提示实现存在错误,以此高效定位代码中的潜在 Bug。
Anyscale 团队将 Ray 集成至 Huggingface Transformers 的 RAG 模型中,用于分布式文档检索。该实现相比 torch.distributed 将单次检索速度提升 2 倍,并解决了同步瓶颈与 PyTorch 依赖限制。在 2 至 4 GPU 训练场景下,Ray 方案的检索耗时显著低于基线,提升了多 GPU 微调的扩展性。
Hugging Face 通过组合优化技术与硬件针对性编译,实现 Transformer 模型推理速度提升 100 倍。 首先利用 🤗 Transformers 与 🤗 Tokenizers 库的高级特性实现 10 倍加速,重点优化 Tokenization 瓶颈并减少注意力矩阵计算维度。
Hugging Face 发布教程详解如何利用 BERT、GPT2 等预训练检查点初始化 encoder-decoder 模型,跳过高昂的预训练阶段。Rothe 等人证明这种 warm-starting 方法在序列到序列任务上能以极低训练成本达到 T5 等模型的可比性能。教程包含理论分析、任务适配性及使用 Transformers 框架的完整代码示例。
Stas Bekman 记录将 fairseq wmt19 翻译系统完整移植到 transformers 库的过程。他使用 en-ru 和 ru-en 模型作为切入点,通过编写转换脚本将 PyTorch 权重转为 transformers 支持格式。最终实现了包含 FSMT 配置、模型架构及分词器在内的完整代码支持。
Hugging Face Transformers 3.1 与 Ray Tune 集成,简化大语言模型超参数调优。实验显示,Population-based Training 在 BERT 上取得 78% 最佳验证准确率,优于网格搜索。用户仅需几行代码即可调用 Ray Tune 算法进行微调。
Hugging Face 发布教程详解 Transformers 库中语言生成的解码方法。文章通过代码示例演示了贪心搜索、束搜索、随机采样、Temperature 调节、Top-k 及 Top-p(Nucleus)采样的实现方式。指出 Top-k 和 Top-p 采样在开放式语言生成中通常比贪心和束搜索能产生更连贯的文本,并建议根据具体使用场景选择最优解码策略。
Hugging Face 发布教程,演示使用 Transformers 和 Tokenizers 库从头训练 84M 参数的小模型 EsperBERTo。该模型在 3GB 的 Esperanto 语料库上预训练,后续针对词性标注任务进行微调。字节级 BPE tokenizer 训练耗时约 5 分钟,编码序列平均长度比 GPT-2 减少约 30%。
OpenAI 发布了名为 Spinning Up in Deep RL 的教育资源。该资源旨在帮助任何人成为熟练的深度强化学习实践者。其内容包括清晰的 RL 代码示例、练习、文档和教程。
OpenAI 发布 Proximal Policy Optimization 强化学习算法,其性能与现有最先进方法相当或更优,且实现与调优更简单,因此成为 OpenAI 内部默认的强化学习算法。
推荐理由:该算法实现简洁且易于调优,已成为 OpenAI 强化学习工作的默认方法,适合需要低成本落地的工程参考。
OpenAI 指出强化学习算法在奖励函数误指定时会出现反直觉的失效模式。该文章旨在深入探讨这一特定的失败场景,分析算法在现实环境中因奖励函数定义不当而崩溃的具体表现。