跳到正文
10月30日周五
  1. arXiv · AI30

    VoiceLongMemEval 基准揭示 AI 助手在长对话中遗忘语音特征问题

    研究人员发布 VoiceLongMemEval 基准,指出当前评测忽视非语言线索,导致 AI 助手存在广泛的情感认知差距。提供语音元数据可使模型准确率提升 0.09 至 0.38,原生音频模型性能优于纯文本盲测。 该基准包含情感标签等元数据,每项测试均通过对抗性关卡,确保强语言模型仅靠文本无法作答。代码和数据集将在论文被录用后公开。

  2. arXiv · AI34

    MTG-AD:端到端行内音频描述的基准数据集与细粒度评估框架

    研究团队提出 MTG-AD 数据集与 MTG-AD-Eval 评估框架,用于提升视觉媒体对盲人和低视力用户的可访问性。 MTG-AD 包含 36 小时视频及 8000 余条由视障与明眼专家共同标注的描述,MTG-AD-Eval 通过生成音频轨道评估时序适配性。 实验显示,多模态大语言模型虽能减少语音重叠,但在叙事节奏上仍有差距;自动指标与人类评分显著相关,该成果已发表于 NeurIPS 2026。

  3. arXiv · NLP25

    dots.tts.edit:基于连续自回归模型的精准语音编辑

    dots.tts.edit 是一种基于连续自回归架构的语音编辑模型,通过半形式化转录脚本指令实现精准控制。 它支持词法、情感、韵律及暂停四种编辑操作,并在 doteBench 双语文本基准上展现出领先的指令遵循与局部保留能力。 音频质量与现有开源系统相当,且在 Seed-TTS-Eval 评测中与基座模型的零样本 TTS 识别误差及说话人相似度无显著差异。

  4. arXiv · NLP25

    READ:基于声学差异的无参考 ASR 假设评估指标

    READ 是一种无参考的 ASR 假设评估指标,通过声学差异直接评估语音识别结果。 READ 利用预训练自回归 TTS 模型计算语音 token 在文本假设下的条件似然,无需额外训练即可用于假设精化。 实验显示 READ 与特定识别错误相关,相对错误率最高降低 20%,在噪声条件下增益尤为显著。

  5. arXiv · NLP25

    ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models

    ReHear 提出通过迭代式伪标签精化改进半监督自动语音识别(ASR)。 它利用指令微调的音频感知大语言模型(LLM),基于 ASR 假设和原始音频生成高精度伪标签,用于微调 ASR 模型。 该框架在不同基准测试中均优于监督学习和传统伪标签基线,有效缓解了错误累积问题。

  6. arXiv · NLP35

    揭示自回归声音克隆 TTS 模型中可解释的声学特征

    研究提出针对自回归声音克隆 TTS 模型的特征可解释性框架,基于稀疏自编码器(SAE)等分析 Qwen3-TTS 及 5 个额外模型。 SAE 擅长稀疏探测与概念发现,PCA 在密集探测中表现竞争;在 Qwen3-TTS 中自动验证了 684 个 SAE 特征,覆盖说话人聚类、风格及录音条件。 该研究为理解 TTS 模型内部声学属性编码机制提供了全面解析。

  7. arXiv · NLP33

    基于感知对齐的分段评估协议:揭示生成语音中的口音差异

    研究者提出结合说话人与口音相似度评分及子词标注的分段评估协议。 47名听众评估了200对苏格兰和澳大利亚语音样本,涵盖2个零样本TTS系统和1个发音转换系统。子词标注揭示了显著发音差异,且有时与相似度评分得出的系统排名不同。说话人与口音评分呈强相关(ρ = 0.71)。 该协议有助于超越传统评分,利用局部感知证据开发感知基础的分段口音评估方法,相关代码、数据和交互式演示已开放。

  8. R/ArtificialInteligence56

    Arc-Transcriber发布:70MB流式语音模型实现单步转录与实体链接

    Arc-Transcriber是一个约70MB的流式语音模型,能在100ms内完成ASR-NL单步处理,输出转录文本及名称、数字、说话人等元数据。该模型将传统的ASR、NER和实体链接链路压缩至共享编码器中,支持在流内实时校验用户提供的名单。目前提供Arc mini和Arc-v1两个版本,权重发布于Hugging Face,代码在GitHub开源,并在Mac端侧应用中用于语音搜索。

  9. TechCrunch · AI50

    Granola 推出跨应用听写功能以竞争 Wispr

    Granola 上线了 Mac 版跨应用听写功能,用户通过按下 Fn 键口述,工具会自动清理并格式化文本,免费且无字数限制。该功能支持在所有应用中记录笔记、编写提示词及回复邮件,iOS 和 Windows 版本即将推出。目前 Granola 估值 15 亿美元,竞争对手 Wispr 估值 20 亿美元,且后者也在推会议记录功能,语音 AI 应用正趋于功能融合。

10月29日周四
  1. IT之家80

    英伟达发布开源语音转录模型 Nemotron 3.5 Transcribe,支持 40 种语言与 8 人分离

    英伟达发布开放权重语音转录模型 Nemotron 3.5 Transcribe,并同步公开 Granary v2 训练数据管线。模型采用约 340 亿总参数的 MoE 架构,激活参数约 43 亿,支持 40 种语言转录,可处理最长 1 小时录音,最多区分 8 名说话人,并支持说话人归属、翻译和音频问答。

    同一新闻,精选展示《NVIDIA 开源 Nemotron 3.5 Transcribe 与 Granary v2,支持提示词驱动的多语言语音转录与微调》

  2. Tibo (X)63

    OpenAI 为 Dot 添加即时通讯与语音指令功能

    OpenAI 宣布 Dot 功能新增文本、照片及语音笔记支持,用户可像发送短信一样直接向助手下达任务。该功能通过 iMessage 或 RCS 提供隐私保护,助手会主动发送更新,现已面向美国 Pro 用户开放预览。

    推荐理由:该功能支持通过iMessage或语音备忘指令AI助手,展示了日常交互与执行任务的能力扩展。

10月28日周三
  1. NVIDIA Blog76

    NVIDIA 开源多语种语音转录模型 Nemotron 3.5 Transcribe

    NVIDIA 今天推出开源权重语音模型 Nemotron 3.5 Transcribe,单个模型即可处理转录、说话人识别和翻译,支持 40 种语言。该模型在 Hugging Face 开放 ASR 榜单排名 No.1,采用约 43 亿活跃参数,比当前排名第一的开源权重模型参数少约 80%。

    推荐理由:NVIDIA开源语音模型Nemotron 3.5 Transcribe一次完成转录、说话人分离和翻译,用本地设备即可完成多语种音频信息提取。

  2. TechCrunch · AI75

    Nvidia 发布开源转录模型 Nemotron 3.5 及数据集 Granary 2

    Nvidia 发布了免费开放权重的转录模型 Nemotron 3.5,能够转写 40 种语言的音频,处理长达 1 小时的录音,并区分多达 8 个说话者。该模型参数量为 30B,可部署在 Jetson AGX Thor、DGX Spark 或 Blackwell 数据中心芯片等单芯片上,但仅支持预录音频,不支持实时流处理。Nvidia 同时发布了开源语音数据集 Granary 2。

  3. arXiv · NLP43

    AZeroS 模型:基于自生成无指令调优扩展 LLM 至语音领域

    提出 AZeroS 模型,基于 Qwen2.5-7B-Instruct,通过自生成无指令调优(SIFT)范式扩展 LLM 至语音领域,无需收集任务特定问答对。 利用约 25,000 小时带 ASR 转录的语音和 3,000 小时带副语言标签的语音进行训练,仅更新两个 23.80M 参数的轻量投影模块,保持 LLM 和音频编码器冻结。

  4. arXiv · NLP23

    Lipi-Ghor: 一个大规模、带说话人分离的多领域孟加拉语语音语料库及其构建流水线

    Lipi-Ghor 语料库包含来自 998 个 YouTube 视频、涵盖 17 个领域的 885 小时孟加拉语音频,并带有 SSTT 格式说话人分离标注。它是首个将大规模覆盖与长形式音频的说话人分离标注相结合的孟加拉语语音语料库。语料库构建流水线可在其他拥有字幕 YouTube 资源语言中复现,原始资源以 CC-BY-4.0 许可发布。

  5. arXiv · AI25

    针对本地音频证据的匹配同类控制方法研究

    研究通过匹配同类与不同类替换测试音频语言模型对本地声事件编辑的响应。 在600个合成音景及3个模型测试中,不同类替换导致答案变化率比同类替换高49.7至60.9个百分点。 同类替换准确率与原始准确率差距在5.2个百分点内,且插入类别的选择性准确率为73.7%至81.9%。