跳到正文
5月20日周一
5月1日周三
  1. Hugging Face Blog36

    Hugging Face Inference Endpoints 实现 Whisper ASR 与说话人分离及推测解码

    Hugging Face Inference Endpoints 支持部署 Whisper 进行自动语音识别,并集成 Pyannote 模型实现说话人分离及推测解码加速。该自定义推理处理器允许通过单个 API 端点组合 ASR 与分离功能,其中推测解码要求辅助模型解码器架构一致且批大小为 1。配置通过环境变量指定模型参数,分离功能需显式传递 HF_TOKEN 以确保安全。

2月27日周二
  1. Hugging Face Blog37

    Hugging Face 推出 TTS Arena:基准测试文本转语音模型在野外的表现

    Hugging Face 推出 TTS Arena,旨在通过众包投票机制评估文本转语音模型的自然度,解决传统自动指标不可靠的问题。该工具借鉴 LMSys 的 Chatbot Arena,允许用户对比两个模型生成的音频并投票,基于 Elo 评分系统生成实时排行榜。初始包含 ElevenLabs、MetaVoice 等开源与专有模型,结果将公开以民主化模型评估过程。

1月19日周五
  1. Hugging Face Blog40

    Wav2Vec2-BERT 低资源 ASR 微调教程

    Meta AI 发布的 Wav2Vec2-BERT 是一款 580M 参数音频模型,在低资源 ASR 场景中比 Whisper-large-v3 快 10 到 30 倍。本文演示使用 Hugging Face Transformers 将 facebook/w2v-bert-2.0 微调至蒙古语 ASR 任务,证明其资源效率更高。

12月20日周三
  1. Hugging Face Blog60

    使用推测解码实现 2 倍更快 Whisper 推理

    Hugging Face 演示了如何使用推测解码(Speculative Decoding)在保持模型输出不变的前提下,将 Whisper 语音转写推理速度提升约 2 倍。

    推荐理由:原文提供了数学保证输出不变的 2 倍加速原理和 Python 实操,读者可直接复用到现有语音转写流程。

8月9日周三
5月18日周四
  1. OpenAI74

    OpenAI 推出 ChatGPT iOS 应用

    OpenAI 发布 ChatGPT 的 iOS 应用,支持对话同步、语音输入,并集成了最新的模型改进。

    推荐理由:原文说明 ChatGPT iOS 应用同步对话和语音输入,方便读者了解移动端功能更新。

2月8日周三
  1. Hugging Face Blog76

    Hugging Face 实现 Microsoft 的 SpeechT5 语音模型

    Hugging Face 在 Transformers 库中实现了微软研发的 SpeechT5 语音模型,支持 TTS、ASR 和语音转换。该模型利用统一的 Transformer 架构,通过在混合数据上预训练并结合不同的前馈层和反向网络来执行多项任务。

    推荐理由:通过预训练统一模型架构,展示了语音与文本模态如何共享 Transformer 骨干实现多任务处理。

12月15日周四
11月3日周四
  1. Hugging Face Blog56

    使用 Hugging Face Transformers 微调 Whisper 实现多语言语音识别

    Hugging Face 发布教程,演示如何使用 Transformers 库微调 OpenAI 的 Whisper 模型以适配多语言语音识别。教程以 Common Voice 11.0 中的印地语数据为例,展示了从数据准备、特征提取到模型训练的全流程。使用约 8 小时的小规模数据对 Whisper small 进行微调后,模型在测试集上的词错误率从 63.5% 降至 32.0%。

9月21日周三
2月1日周二
1月12日周三
11月15日周一
3月12日周五
4月25日周四
  1. OpenAI43

    OpenAI 发布 MuseNet 音乐生成模型

    OpenAI 推出 MuseNet,这是一款能生成包含 10 种乐器、长达 4 分钟音乐作品的深度神经网络。它利用与 GPT-2 相同的无监督 Transformer 技术,通过学习预测数十万 MIDI 文件的下一个 token 来掌握和声、节奏与风格,并能融合乡村音乐、莫扎特及披头士乐队的风格。