跳到正文
10月20日周二
  1. 百灵大模型78

    蚂蚁百灵开源 Ming-3.0 语音系列模型

    蚂蚁百灵开源 Ming-3.0 语音系列模型,涵盖语音合成、音频理解与对话、语音识别三大方向,共包含五款模型。其中 Ming-3.0-tts-0.5B 在 Artificial Analysis 的 Pronunciation Robustness 测试中得分 93.2%,并列全榜单第一。

    推荐理由:蚂蚁百灵开源 Ming-3.0 语音系列,提供语音合成、音频理解与识别能力,并公开了模型下载与 API 入口。

  2. arXiv · NLP65

    论文提出合成正样本微调法,将 Whisper 静默幻觉率从 61.9% 降至 2.4%

    arXiv 论文针对 Whisper 在纯静默音频中产生 61.9% 幻觉词的问题,提出使用语音合成系统生成 6,267 条正样本进行微调。实验显示该方法将静默音频幻觉率降至 2.4%,真实无语音音频出词率从 99.9% 降至 47.8%,同时短语恢复率从 69.8% 提升至 82.7%,在保持英语准确率的所有测试对中均有效。

    推荐理由:作者实测指出 Whisper 静默幻觉率高达 61.9%,并提出使用合成正样本微调法,将幻觉率降至 2.4% 且未牺牲转写准确率。

  3. arXiv · NLP28

    VIRBA:通过强化行为对齐增强语音大语言模型的跨声学鲁棒性

    VIRBA 提出了一种针对语音大语言模型(SpeechLM)的强化学习框架,旨在解决同一语义指令在不同声学条件下导致行为策略不一致的问题。 该框架通过构建多视角语音指令组,结合语义偏好、规则可验证性及跨声学不变性奖励,利用 CA-GRPO 优化模型。实验表明,VIRBA 在推理密集型和受声学干扰的语音提示上取得了最大性能提升,该成果已被 NeurIPS 2026 接收。

  4. arXiv · NLP22

    oollim 系统:在消费级硬件上评估 L2 英语发音、流利度与韵律

    本地可执行系统 oollim 在消费级计算机上评估 L2 英语发音,利用 XLS-R 和 XEUS 等预训练表征,无需微调模型。 在 305 条独立录音上,oollim 的多个配置在准确率、流利度和韵律指标上显著优于 2026 年 1 月的 Azure API 存档分数。 该系统证明了在消费级硬件上进行专家级语音评估的可行性,且无需在私有数据上进行校准。

  5. arXiv · NLP30

    Heartbeat Thinking:实时语音智能体中的推测性推理与工具执行

    Heartbeat Thinking 范式允许语音智能体在监听期间持续进行推测性推理和工具执行,将等待时间转化为准备工作。 在 FDBench v3 基准测试中,该方法将工具覆盖率提高 16 个百分点,平均最终响应延迟降低 36.4%。 这一机制保留了语音输入过程中的持续计算能力,提升了语音智能体的响应速度与工具利用能力。

  6. arXiv · NLP41

    VISAGENT:基于智能体的端到端语音交互系统

    本文提出VISAGENT,一个面向大规模公共服务的基于智能体的端到端语音交互系统。 该系统通过两级路由范式在数百个智能体中实现亚秒级意图选择,支持用户记忆和动态智能体注册,已在114热线部署验证。 其低延迟全双工交互与可扩展性为构建智能体中心对话基础设施提供通用蓝图。

  7. arXiv · NLP21

    Speech LLMs 呼吸建模:非语言发声在对话中的研究

    研究人员通过覆盖13类非语言发声(NVV)的自动合成数据集,提升了语音交互模型在共情互动和角色扮演中生成适当NVV事件的能力。 该方法采用多阶段微调和NVV感知的GRPO进行优化,实质性增强了VocalNet和VITA-Qinyu两个模型的表达力。 研究进一步讨论了实现高质量自然语音生成的架构必要性。

  8. arXiv · NLP31

    构建受控回复与摘要数据以支持小型语言模型AI通话筛选智能体

    研究构建了3,395通电话、15,102个标注目标的高质量数据集,用于训练能代接电话并生成摘要的小型语言模型。 该数据基于合成通话与信息边界约束生成,经模型审查筛选。使用单个共享LoRA适配器微调0.6B-4B参数模型,测试了192通留出通话。 回复合格率从21-54%提升至94-97%,摘要合格率从0-6%提升至43-72%。后续人机研究将验证该评估标准的有效性。

  9. arXiv · NLP21

    BabyLM 规模下韵律结构对音素语言建模的关键作用

    研究表明,在 BabyLM 规模下,带有韵律注释的音素流在 10M 和 100M 词数据量时均能产生最强的语义分类组织。 该研究对比了正字法基线与三种音系丰富度条件,通过新的词汇判断任务发现,三音素音系控制表明传统评分主要反映音系熟悉度而非词性。韵律结构被视为小数据范式下音素语言建模的关键组件,与婴儿学习机制高度相似。

  10. arXiv · NLP23

    预训练对话TTS模型的音素适配:提升生僻药物发音准确率

    研究在预训练对话 TTS 模型中引入音素控制,无需预训练,利用 ARPAbet 扩展与推理时声学偏置,将 7,500 条药物发音测试的严格准确率从 54.6% 提升至 90.7%。 在盲测研究中,84% 的音频被判定为正确,优于最强基线(82%),且所有评估药物均未在训练阶段出现,证明提升源于发音学习而非记忆。

10月19日周一
  1. 阿里语音AI54

    阿里语音团队解读流式 ASR 技术演进:从 Hybrid 系统到大模型语音识别

    阿里语音团队团队发文解读流式自动语音识别(Streaming ASR)的技术演进。文章对比了 Hybrid 解码、CTC、RNN-T、Attention 及大模型时代的四种流式实现路线,指出核心矛盾在于准确率与延迟的平衡。作者建议根据输入法、会议转写或语音智能体等不同场景,结合 WER、发射延迟和系统吞吐等指标综合选择技术方案。

  2. arXiv · NLP20

    VietMed:越南语医疗领域自动语音识别数据集与基准

    VietMed 是一个越南语医疗语音识别数据集,包含 16 小时标注、1000 小时未标注医疗及 1200 小时通用语音数据,是迄今最大的公开医疗语音数据集。 发布模型 XLSR-53-Viet 在医疗测试集上将 WER 从 51.8% 降至 29.6%,相对降低超 40%。 首次覆盖全部 ICD-10 疾病组和国内所有口音,相关代码、数据和模型均已公开。

  3. arXiv · NLP46

    Qwen3-TTS 基准之外的条件设置、领域与失效模式研究

    研究通过18项指标及LLM评审等,对比Qwen3-TTS的ICL与X-Vector接口在四种场景下的表现,发现领域比系统选择更能解释方差。 Qwen3-TTS在清晰度上领先但韵律欠佳,标准反制措施无法有效识别其克隆音频,且在航空管制无线电场景下所有系统均失效。 代码与音频已开源发布。

  4. arXiv · NLP23

    EmoShift 基准测试揭示语音深度伪造检测器在情绪变化下的失效模式

    EmoShift 基准测试显示,语音内部的情绪变化会改变深度伪造检测结果。 该测试包含 7,240 条真实语句和 9,720 条由四个 TTS 系统生成的合成语句。在七个检测器中,情绪变化使合成语音的遗漏率最高增加 25.3 个百分点,真实语句的误报率最高增加 24.4 个百分点。 结果强调情绪动态在深度伪造检测中的重要性。

  5. arXiv · ML25

    Flash RNN-T:内存高效的 RNN-T 联合网络与 Transducer 损失计算

    Flash RNN-T 提出结合专用内核与可选分块重计算的联合实现,解决了 RNN-T 训练中间张量内存占用大的问题。 在 H100 上,非分块 Flash 较最快基线吞吐量高 24-39% 且内存减少 26-56%;分块 Flash 内存进一步降低至基线的九分之一,吞吐量降低 16%。 该实现将在 Interspeech 2027 上提交,覆盖中等及长工作负载。

  6. arXiv · NLP28

    BEST框架:高效神经解码挑战语音脑机接口大模型必要性

    研究团队提出BEST两阶段框架,无需依赖大生成模型即可实现神经到文本的高效解码。 在Brain-to-Text 24和25基准测试中,BEST分别取得6.19%和1.62%的WER,仅使用可比方法3.85%的参数。 该框架通过层级中间表征和紧凑语音解码器降低计算成本,揭示了跨模态对齐比模型规模更关键,适用于资源受限场景。

10月16日周五
  1. arXiv · NLP23

    基于 Transformer 的早期语音识别系统实现孟加拉语语音病句自动补全

    该研究提出整合系统,通过孟加拉语语音文本分析检测痴呆症状,并实现对话中的句子自动补全。 使用 Transformer 模型将语音转录为文本,LSTM 架构在分类任务中表现良好。 采用 Bi-LSTM 网络结合注意力机制,对孟加拉语未完整句子进行序列补全,填补小语种研究空白。

  2. arXiv · NLP27

    PEDBench:语音模型能否检测语音错误?

    PEDBench 是首个覆盖从自然到受控语音连续性的语音错误检测(PED)基准。 该基准包含 334 条儿童真实录音、1,188 条人工脚本错误发音及 1,083 条合成错误发音,数据经两名受过语音学训练的标注员双重校验。 对 13 个最先进语音模型的评估显示,即便在受控条件下,模型仍无法可靠检测语音错误,且精确度较低,常将正确发音误判为错误。

  3. arXiv · AI38

    ELLSA 2:端到端全双工对话模型实现语音、表情与手势的联合优化

    ELLSA 2 是一款端到端全双工对话模型,联合优化语音交互与流式手势表情生成,在对话感知手势指标上优于级联基线。 模型采用自回归分块合成器结合预训练声学特征,并通过上下文语义调用与模板指导将对话理解转化为语义手势。 该研究将对话建模从单纯的口语回复推进至协调的多模态交互。

  4. arXiv · AI35

    CoSTA: 通过压缩语音令牌适配实现高效口语对话模型

    CoSTA 提出了一种保持兼容性的事后框架,将生成与合成的语音令牌空间解耦,在保留原始语音令牌器和解码器的同时,实现了约 1.7 倍的扩展语音令牌生成速度提升,并降低了全响应延迟。 该框架通过均值初始化的词汇扩展、发音适配和对话适配,将压缩表示确定性扩展回原始语音令牌空间进行合成。实验表明其在双语文言对话基准测试中保持了响应质量,并展示了跨架构迁移能力以及与低速率分词化的互补性。

  5. arXiv · AI34

    全双工语音语言模型参考引导轮次切换风格迁移研究

    该研究识别出全双工语音模型中控制发言比率的“倡议向量”,实现无需训练的轮次切换风格迁移。通过缩放该向量,模型发言比率可从6-12%或21-30%调整至42-61%,并提前800毫秒预测说话起始。 短参考录音即可迁移特定说话人的风格,风格迁移具有参考特异性,且该机制已被提交至ICASSP 2027。

  6. arXiv · AI25

    MixtureTT:基于扩散模型的多声部音色迁移系统

    MixtureTT 提出首个从复调混合音直接进行独立声部音色迁移的系统,无需先分离声部。 该系统采用联合声部扩散 Transformer(Joint Stem Diffusion Transformer),在单次联合扩散过程中生成所有声部,避免了级联分离误差。 在合成与真实音频的 SATB 基准测试中,其表现优于传统的先分离后迁移流程。

  7. arXiv · AI28

    ACR-Net 通过对比声语义解耦缓解语音情感识别中的语义主导问题

    ACR-Net 利用 Cross-Modal Attention 和 Contrastive Decoupling Loss 将矛盾表示解耦至正交隐空间,缓解了 SER 模型中的语义主导(Semantic Dominance)偏差。 实验在 ASPIRE 基准测试中显示,ACR-Net 在极性冲突下保持高潜变量解耦度(LDD),使语义过度自信惩罚(SOP)接近零,提升了声学准确率(ACC)。

  8. Tibo (X)36

    OpenAI 更新 GPT-Live-1.1 语音

    新音色、更地道的口音、更少的“加载中”等待。OpenAI 为 ChatGPT、Codex 和 Dots 的语音功能更新了 GPT-Live-1.1,新增法语、德语、印地语、墨西哥西班牙语、韩语和日语音色,今日向所有用户推出,API 即将上线。 反应:Bonjour。