OpenAI 如何为 ChatGPT 甄选语音
OpenAI 为 ChatGPT 选定 5 个语音。该过程与业内领先的选角及导演专家合作,在 400 多份提交中完成筛选。
OpenAI 为 ChatGPT 选定 5 个语音。该过程与业内领先的选角及导演专家合作,在 400 多份提交中完成筛选。
Hugging Face Inference Endpoints 支持部署 Whisper 进行自动语音识别,并集成 Pyannote 模型实现说话人分离及推测解码加速。该自定义推理处理器允许通过单个 API 端点组合 ASR 与分离功能,其中推测解码要求辅助模型解码器架构一致且批大小为 1。配置通过环境变量指定模型参数,分离功能需显式传递 HF_TOKEN 以确保安全。
Hugging Face 推出 TTS Arena,旨在通过众包投票机制评估文本转语音模型的自然度,解决传统自动指标不可靠的问题。该工具借鉴 LMSys 的 Chatbot Arena,允许用户对比两个模型生成的音频并投票,基于 Elo 评分系统生成实时排行榜。初始包含 ElevenLabs、MetaVoice 等开源与专有模型,结果将公开以民主化模型评估过程。
Meta AI 发布的 Wav2Vec2-BERT 是一款 580M 参数音频模型,在低资源 ASR 场景中比 Whisper-large-v3 快 10 到 30 倍。本文演示使用 Hugging Face Transformers 将 facebook/w2v-bert-2.0 微调至蒙古语 ASR 任务,证明其资源效率更高。
Hugging Face 演示了如何使用推测解码(Speculative Decoding)在保持模型输出不变的前提下,将 Whisper 语音转写推理速度提升约 2 倍。
推荐理由:原文提供了数学保证输出不变的 2 倍加速原理和 Python 实操,读者可直接复用到现有语音转写流程。
Hugging Face 发布教程,演示如何使用 Better Transformer、fp16 和 CPU offload 优化 Bark 模型。基准测试显示,组合三种优化可将 Bark-large 的内存占用从 5GB 降至 2GB,速度提升 15%;批量处理时吞吐量最高提升 87%。
OpenAI 发布 ChatGPT 的 iOS 应用,支持对话同步、语音输入,并集成了最新的模型改进。
推荐理由:原文说明 ChatGPT iOS 应用同步对话和语音输入,方便读者了解移动端功能更新。
Hugging Face 在 Transformers 库中实现了微软研发的 SpeechT5 语音模型,支持 TTS、ASR 和语音转换。该模型利用统一的 Transformer 架构,通过在混合数据上预训练并结合不同的前馈层和反向网络来执行多项任务。
推荐理由:通过预训练统一模型架构,展示了语音与文本模态如何共享 Transformer 骨干实现多任务处理。
Hugging Face 开源库 Datasets 提供一键加载和预处理音频数据集的功能。Hugging Face Hub 平台已收录 77 个语音识别和 28 个音频分类数据集。开发者可通过 load_dataset 函数在单行 Python 代码中下载并处理 GigaSpeech 等数据集,支持流式模式以高效管理数据。
Hugging Face 发布教程,演示如何使用 Transformers 库微调 OpenAI 的 Whisper 模型以适配多语言语音识别。教程以 Common Voice 11.0 中的印地语数据为例,展示了从数据准备、特征提取到模型训练的全流程。使用约 8 小时的小规模数据对 Whisper small 进行微调后,模型在测试集上的词错误率从 63.5% 降至 32.0%。
OpenAI 训练并开源了名为 Whisper 的神经网络,其在英语语音识别上具备接近人类水平的鲁棒性和精度。
推荐理由:官方开源了具备类人鲁棒性和精度的英语语音识别模型。
Meta AI 的 Wav2Vec2 模型因 Transformer 架构的 O(n²) 复杂度限制,直接处理长音频文件会导致内存溢出。通过在 Transformers 中利用 Connectionist Temporal Classification (CTC) 架构特性并设置 `chunk_length_s` 参数,可实现任意长度文件的自动语音识别 (ASR)。
本文是 Hugging Face 发布的分步指南,介绍如何为 Wav2Vec2 微调模型添加 n-gram 语言模型以提升语音识别效果。指南详细展示了使用 pyctcdecode 和 KenLM 构建 5-gram 模型,并将其与 Wav2Vec2ProcessorWithLM 结合的方法。
XLS-R 是 XLSR 的继任者,于 2021 年 11 月发布,使用 128 种语言的近 50 万小时音频数据进行自监督预训练,参数规模从 300M 到 2B。
本教程展示如何使用 Hugging Face Transformers 库微调 Wav2Vec2 模型,将其应用于英语自动语音识别(ASR)。
OpenAI 推出 MuseNet,这是一款能生成包含 10 种乐器、长达 4 分钟音乐作品的深度神经网络。它利用与 GPT-2 相同的无监督 Transformer 技术,通过学习预测数十万 MIDI 文件的下一个 token 来掌握和声、节奏与风格,并能融合乡村音乐、莫扎特及披头士乐队的风格。