蚂蚁百灵开源 Ming-3.0 语音系列模型
蚂蚁百灵开源 Ming-3.0 语音系列模型,涵盖语音合成、音频理解与对话、语音识别三大方向,共包含五款模型。其中 Ming-3.0-tts-0.5B 在 Artificial Analysis 的 Pronunciation Robustness 测试中得分 93.2%,并列全榜单第一。
推荐理由:蚂蚁百灵开源 Ming-3.0 语音系列,提供语音合成、音频理解与识别能力,并公开了模型下载与 API 入口。
蚂蚁百灵开源 Ming-3.0 语音系列模型,涵盖语音合成、音频理解与对话、语音识别三大方向,共包含五款模型。其中 Ming-3.0-tts-0.5B 在 Artificial Analysis 的 Pronunciation Robustness 测试中得分 93.2%,并列全榜单第一。
推荐理由:蚂蚁百灵开源 Ming-3.0 语音系列,提供语音合成、音频理解与识别能力,并公开了模型下载与 API 入口。
蚂蚁百灵开源 Ming-3.0 语音系列,包含 Ming-3.0-tts、Ming-3.0-audio 和 Ming-3.0-asr 共五款模型,分别覆盖语音合成、音频理解与识别。
同一新闻,精选展示《蚂蚁百灵开源 Ming-3.0 语音系列模型》
研究指出视听大语言模型(AV-LLM)在完整视频语音-视觉决策中常发生失败,尽管局部视觉证据可被恢复。 提出无需训练的Temporal Evidence Decomposition(TED)诊断框架,在SVHalluc基准的四个冻结AV-LLM上,Temporal Forecasting准确率从29.3%-33.7%提升至79.3%-82.2%。
非侵入式脑机接口研究中,训练时 Logit 平均法在 7 个设定中的 6 个表现最优。 该方法在 2025 PNPL 竞赛辅音分类任务上刷新 SOTA,平衡准确率超竞赛冠军 17.4 个百分点。 其性能优势基于 3 个数据集、4 项任务及 6 种聚合策略的系统比较。
CANVAS 系统基于 Zapier 工作流,利用 Gemini 2.5 Flash、GPT-5 Mini 和 Claude 3.5 Haiku 为视障人士生成 50 幅艺术品的 150 条叙述音频,总成本仅 5.10 美元。
arXiv 论文针对 Whisper 在纯静默音频中产生 61.9% 幻觉词的问题,提出使用语音合成系统生成 6,267 条正样本进行微调。实验显示该方法将静默音频幻觉率降至 2.4%,真实无语音音频出词率从 99.9% 降至 47.8%,同时短语恢复率从 69.8% 提升至 82.7%,在保持英语准确率的所有测试对中均有效。
推荐理由:作者实测指出 Whisper 静默幻觉率高达 61.9%,并提出使用合成正样本微调法,将幻觉率降至 2.4% 且未牺牲转写准确率。
在 SpeechLLM 顶部增加线性分类头比生成标签更适合情绪识别。在 IEMOCAP 数据集使用 ASR 转录本的多种配置中,该方法将 Macro F1 提升至 76.97%。
VIRBA 提出了一种针对语音大语言模型(SpeechLM)的强化学习框架,旨在解决同一语义指令在不同声学条件下导致行为策略不一致的问题。 该框架通过构建多视角语音指令组,结合语义偏好、规则可验证性及跨声学不变性奖励,利用 CA-GRPO 优化模型。实验表明,VIRBA 在推理密集型和受声学干扰的语音提示上取得了最大性能提升,该成果已被 NeurIPS 2026 接收。
论文提出 Long Listening Thoughts (LLT) 框架,通过四阶段流水线生成 1.6M 条推理轨迹,采用 SFT 和 DPO 训练 Qwen2.5-Omni-7B。
本地可执行系统 oollim 在消费级计算机上评估 L2 英语发音,利用 XLS-R 和 XEUS 等预训练表征,无需微调模型。 在 305 条独立录音上,oollim 的多个配置在准确率、流利度和韵律指标上显著优于 2026 年 1 月的 Azure API 存档分数。 该系统证明了在消费级硬件上进行专家级语音评估的可行性,且无需在私有数据上进行校准。
Heartbeat Thinking 范式允许语音智能体在监听期间持续进行推测性推理和工具执行,将等待时间转化为准备工作。 在 FDBench v3 基准测试中,该方法将工具覆盖率提高 16 个百分点,平均最终响应延迟降低 36.4%。 这一机制保留了语音输入过程中的持续计算能力,提升了语音智能体的响应速度与工具利用能力。
本文提出VISAGENT,一个面向大规模公共服务的基于智能体的端到端语音交互系统。 该系统通过两级路由范式在数百个智能体中实现亚秒级意图选择,支持用户记忆和动态智能体注册,已在114热线部署验证。 其低延迟全双工交互与可扩展性为构建智能体中心对话基础设施提供通用蓝图。
研究人员通过覆盖13类非语言发声(NVV)的自动合成数据集,提升了语音交互模型在共情互动和角色扮演中生成适当NVV事件的能力。 该方法采用多阶段微调和NVV感知的GRPO进行优化,实质性增强了VocalNet和VITA-Qinyu两个模型的表达力。 研究进一步讨论了实现高质量自然语音生成的架构必要性。
研究构建了3,395通电话、15,102个标注目标的高质量数据集,用于训练能代接电话并生成摘要的小型语言模型。 该数据基于合成通话与信息边界约束生成,经模型审查筛选。使用单个共享LoRA适配器微调0.6B-4B参数模型,测试了192通留出通话。 回复合格率从21-54%提升至94-97%,摘要合格率从0-6%提升至43-72%。后续人机研究将验证该评估标准的有效性。
研究表明,在 BabyLM 规模下,带有韵律注释的音素流在 10M 和 100M 词数据量时均能产生最强的语义分类组织。 该研究对比了正字法基线与三种音系丰富度条件,通过新的词汇判断任务发现,三音素音系控制表明传统评分主要反映音系熟悉度而非词性。韵律结构被视为小数据范式下音素语言建模的关键组件,与婴儿学习机制高度相似。
研究在预训练对话 TTS 模型中引入音素控制,无需预训练,利用 ARPAbet 扩展与推理时声学偏置,将 7,500 条药物发音测试的严格准确率从 54.6% 提升至 90.7%。 在盲测研究中,84% 的音频被判定为正确,优于最强基线(82%),且所有评估药物均未在训练阶段出现,证明提升源于发音学习而非记忆。
Deepgram 将 Nova-3 语音转写模型移植至 AWS Trainium2,单实例运行 8 个模型副本,批量处理音频成本降低 11–70%。 采用 TorchNeuron 编译消除 CPU 回退,替换 NKI 内核并微调 FFN 与卷积层,在 batch size 96 时实现 2.0 倍至 50 倍速度提升。
阿里语音团队团队发文解读流式自动语音识别(Streaming ASR)的技术演进。文章对比了 Hybrid 解码、CTC、RNN-T、Attention 及大模型时代的四种流式实现路线,指出核心矛盾在于准确率与延迟的平衡。作者建议根据输入法、会议转写或语音智能体等不同场景,结合 WER、发射延迟和系统吞吐等指标综合选择技术方案。
提出 TargetSEC 框架,在紧凑潜在空间生成以说话人身份和连续情感为条件的风格嵌入,而非在频谱图上扩散。在 MSP-Podcast 数据集上,其转换 MSE 和自然度匹配或超过有时长预测基线,且优于现有非时长基线。
VietMed 是一个越南语医疗语音识别数据集,包含 16 小时标注、1000 小时未标注医疗及 1200 小时通用语音数据,是迄今最大的公开医疗语音数据集。 发布模型 XLSR-53-Viet 在医疗测试集上将 WER 从 51.8% 降至 29.6%,相对降低超 40%。 首次覆盖全部 ICD-10 疾病组和国内所有口音,相关代码、数据和模型均已公开。
研究通过18项指标及LLM评审等,对比Qwen3-TTS的ICL与X-Vector接口在四种场景下的表现,发现领域比系统选择更能解释方差。 Qwen3-TTS在清晰度上领先但韵律欠佳,标准反制措施无法有效识别其克隆音频,且在航空管制无线电场景下所有系统均失效。 代码与音频已开源发布。
EmoShift 基准测试显示,语音内部的情绪变化会改变深度伪造检测结果。 该测试包含 7,240 条真实语句和 9,720 条由四个 TTS 系统生成的合成语句。在七个检测器中,情绪变化使合成语音的遗漏率最高增加 25.3 个百分点,真实语句的误报率最高增加 24.4 个百分点。 结果强调情绪动态在深度伪造检测中的重要性。
Flash RNN-T 提出结合专用内核与可选分块重计算的联合实现,解决了 RNN-T 训练中间张量内存占用大的问题。 在 H100 上,非分块 Flash 较最快基线吞吐量高 24-39% 且内存减少 26-56%;分块 Flash 内存进一步降低至基线的九分之一,吞吐量降低 16%。 该实现将在 Interspeech 2027 上提交,覆盖中等及长工作负载。
ConvexLLM 提出 C-Gate 接口,将音频表示为冻结文本嵌入的连续凸组合。模型在 VoiceBench 11 项任务中得分为 75.36,MMAU Test-mini 准确率为 62.50%,在口述知识与推理任务上优势显著。
研究团队提出BEST两阶段框架,无需依赖大生成模型即可实现神经到文本的高效解码。 在Brain-to-Text 24和25基准测试中,BEST分别取得6.19%和1.62%的WER,仅使用可比方法3.85%的参数。 该框架通过层级中间表征和紧凑语音解码器降低计算成本,揭示了跨模态对齐比模型规模更关键,适用于资源受限场景。
移除填充语和标点会降低对话行为分类性能,重标准化在全部15个神经模型与语料组合下均导致 Macro-F1 下降。 在 Switchboard 和 MRDA 语料上,标点移除分别使 Macro-F1 降低 0.036 和 0.078。 研究支持根据具体任务进行转录标准化,而非无差别处理。
论文提出一种噪声鲁棒强制对齐方法,通过 WavLM 特征和自举训练实现鲁棒对齐。 在 Buckeye 和 FluencyBank 数据集上,词边界 MAE 分别为 20.6ms 和 76.9ms,比最强基线降低 19% 和 17%。 大幅降低 >200ms 的灾难性错误,对笑声等事件的处理比现有对齐器更鲁棒。
独立开发者开源端侧实时同传系统 VoxWeft,基于 VoxCPM2 在 Apple Silicon 实现本地闭环。M3 Ultra 流式 TTS 首次出声延迟 124–168 毫秒,M2 端到端延迟约 2.5 秒。
研究提出多属性多教师蒸馏框架,利用共享自监督骨干和属性特定分支,从四个冻结教师模型学习语义、说话人、语言和情绪表征。实验显示其在多语言语义检索、说话人验证、语言识别和语音情绪识别上接近单任务学生模型,仅需单一共享编码器。
针对 ASR 评估中相同词汇错误后果差异的问题,提出情境失真指标 SITAR。 SITAR 是轻量级 BERT 家族回归器,通过单一前向传播对参考假设对进行评分。 该指标旨在作为现有 ASR 评估指标的实用补充,完整配方将在内部审查后发布。
该研究提出整合系统,通过孟加拉语语音文本分析检测痴呆症状,并实现对话中的句子自动补全。 使用 Transformer 模型将语音转录为文本,LSTM 架构在分类任务中表现良好。 采用 Bi-LSTM 网络结合注意力机制,对孟加拉语未完整句子进行序列补全,填补小语种研究空白。
PEDBench 是首个覆盖从自然到受控语音连续性的语音错误检测(PED)基准。 该基准包含 334 条儿童真实录音、1,188 条人工脚本错误发音及 1,083 条合成错误发音,数据经两名受过语音学训练的标注员双重校验。 对 13 个最先进语音模型的评估显示,即便在受控条件下,模型仍无法可靠检测语音错误,且精确度较低,常将正确发音误判为错误。
提出粗到细两阶段视听语音增强(AVSE)框架 CF-AVSS,在 ISCSLP 2026 Real-World AVSE Challenge 中 Track 1 并列第一、Track 2 第二,两轨 OVRL 均居前。
ELLSA 2 是一款端到端全双工对话模型,联合优化语音交互与流式手势表情生成,在对话感知手势指标上优于级联基线。 模型采用自回归分块合成器结合预训练声学特征,并通过上下文语义调用与模板指导将对话理解转化为语义手势。 该研究将对话建模从单纯的口语回复推进至协调的多模态交互。
CoSTA 提出了一种保持兼容性的事后框架,将生成与合成的语音令牌空间解耦,在保留原始语音令牌器和解码器的同时,实现了约 1.7 倍的扩展语音令牌生成速度提升,并降低了全响应延迟。 该框架通过均值初始化的词汇扩展、发音适配和对话适配,将压缩表示确定性扩展回原始语音令牌空间进行合成。实验表明其在双语文言对话基准测试中保持了响应质量,并展示了跨架构迁移能力以及与低速率分词化的互补性。
该研究识别出全双工语音模型中控制发言比率的“倡议向量”,实现无需训练的轮次切换风格迁移。通过缩放该向量,模型发言比率可从6-12%或21-30%调整至42-61%,并提前800毫秒预测说话起始。 短参考录音即可迁移特定说话人的风格,风格迁移具有参考特异性,且该机制已被提交至ICASSP 2027。
MixtureTT 提出首个从复调混合音直接进行独立声部音色迁移的系统,无需先分离声部。 该系统采用联合声部扩散 Transformer(Joint Stem Diffusion Transformer),在单次联合扩散过程中生成所有声部,避免了级联分离误差。 在合成与真实音频的 SATB 基准测试中,其表现优于传统的先分离后迁移流程。
ACR-Net 利用 Cross-Modal Attention 和 Contrastive Decoupling Loss 将矛盾表示解耦至正交隐空间,缓解了 SER 模型中的语义主导(Semantic Dominance)偏差。 实验在 ASPIRE 基准测试中显示,ACR-Net 在极性冲突下保持高潜变量解耦度(LDD),使语义过度自信惩罚(SOP)接近零,提升了声学准确率(ACC)。
1.2B 参数韩语模型经词表裁剪与量化后体积仅 803MiB,性能达云端 SOTA 模型的 94%,能耗为 CPU 的 23%。 方案兼容 Qualcomm 与 Apple NPU,已实现生产级部署,兼顾隐私与低算力约束。
新音色、更地道的口音、更少的“加载中”等待。OpenAI 为 ChatGPT、Codex 和 Dots 的语音功能更新了 GPT-Live-1.1,新增法语、德语、印地语、墨西哥西班牙语、韩语和日语音色,今日向所有用户推出,API 即将上线。 反应:Bonjour。