UltraDub:统一视觉引导流学习与轨迹指导,实现逼真配音
UltraDub 将视觉用作连续运动与结构节奏,提出统一视觉引导流学习与轨迹指导的配音框架,在四个数据集上取得 SOTA 性能。 其 MDR 模块通过共享唇动查询残差校准语言与说话人风格检索,RTG 免训练,在纯视觉预测中点评估分层多模态校正以保持时序对齐,并构建 DiverseDub 多场景基准。
UltraDub 将视觉用作连续运动与结构节奏,提出统一视觉引导流学习与轨迹指导的配音框架,在四个数据集上取得 SOTA 性能。 其 MDR 模块通过共享唇动查询残差校准语言与说话人风格检索,RTG 免训练,在纯视觉预测中点评估分层多模态校正以保持时序对齐,并构建 DiverseDub 多场景基准。
SEA-LM 模型通过 FOACODER 编码器理解 First Order Ambisonics 空间音频,在 1,211 种 4 至 9 麦克风智能眼镜阵列配置中,均实现比基线更低的方位角与仰角 MAE 及多数转录任务的 WER。 该模型经两阶段课程训练,涵盖 6 项任务,采用时空加权交叉熵损失平衡转录与方向预测目标。
一项研究用无监督声学聚类检验"文本足以选择韵律风格"这一假设,在 1,200 小时对话语料库的六位说话人上,文本嵌入对聚类 top-3 准确率仅比多数类基线高 +0.111。 词袋基线即达到该增益的四分之三,句嵌入仅额外贡献 +0.026,且在 360 种配置中声学聚类在文本嵌入空间均不紧凑。 研究认为文本主要通过词汇选择而非语义来提示韵律风格,无参考的风格选择不能假设更多。
针对现有自监督学习检测器参数超300M导致无法部署于受限设备的问题,研究团队提出一种结合跨域知识蒸馏与运动引导结构化剪枝的任务感知联合框架。 该框架将模型压缩至31.9M参数并实现6.3倍FLOPs降低,在多个数据集上的平均性能下降仅1.30%,显著优于直接适配现有压缩方法的效果。 这一成果展示了该模型在资源受限设备上进行音频深度伪造检测部署的强大学潜力。
研究者提出 Empirical Variational Autoencoder(EVA),一个面向连续值(非向量量化)序列的通用生成框架,仅需在 VAE 之上增加一个线性层即可实现。
ParaGeo 提出一种在冻结语音语言模型中分解副语言变异的方法,利用 GLM-4-Voice 探针生成 80 个控制条件。在内容留出的情况下,其质心准确率相比置换基线从 1.25% 提升至 9.49%,同标签跨内容余弦相似度达到 0.285。该研究为副语言结构测量提供了共享坐标表示,并发布了相关代码。
FastDiar将SOTA说话人识别架构转化为因果帧级编码器,每80ms基于2秒音频窗口输出嵌入向量,并配合在线聚类实现流式分离。该系统通过蒸馏训练,在低重叠基准测试中精度最高,单CPU线程推理速度达实时的5倍,延迟低于1秒。
针对语言学习和配音场景对口音强度调节的需求,研究者提出基于掩码离散扩散的可控口音归一化系统 DLM-AN。该系统通过通用词预测器选择性复用源语音 token 来控制口音保留度,并引入流匹配时长比例预测器自动调整发音节奏。在多口音英语数据实验显示,DLM-AN 实现了最低的词错误率,同时保持了具有竞争力的口音抑制效果和可解释的口音强度控制。
研究训练了 15 个 19-133M 参数的 Masked-Diffusion codec TTS 模型,发现测试时计算步数对 intelligibility 与 identity 的提升存在 1.86 倍不对称性,refinement steps 可关闭 86.2% 的 intelligibility gap,但仅 46.4% 的 identity gap。
DuplexJev 将 ASR 编码器隐藏状态通过连接器传入冻结 LLM,将语音问题转化为单 token 分布进行批量决策,8 张 GPU 约 0.1 秒可处理 80 个决策。该模型配合交叉注意力连接器时,说话人性别与情绪识别准确率均达 90%,语音问答准确率保持在 82%。
研究提出利用自身完整与部分波形翻译进行前缀监督,适配全语句语音语言模型。 方法无需转录或人工翻译,对比单轮强制前缀与多轮追加解码策略。 多轮解码在低延迟下表现更强,校准错误整体降低 63-68%,早期前缀降低 68-80%。
Hugging Face 推出 Open TTS Leaderboard,使用 WER、RTFx、TTFA 和 SIM 等客观指标评测开源及多语言 TTS 模型。目前支持 Seed TTS Eval 和 CV3 Eval 数据集,并提供语音克隆对比与流式性能测试,评测脚本将开源。
推荐理由:原文给出了 Open TTS Leaderboard 的客观评测维度和开源模型定位,读者可据此了解如何快速对比多语言 TTS 性能。
9 月 28 日,Qwen-Audio-3.1-TTS 在 Artificial Analysis 的 Controlled Voice Arena 中以 1177 的 Elo 评分位列全球第一。该模型支持多语种及方言合成,强调声音情绪和语速的自然表达。当前 Qwen-Audio 全线语音模型价格下调,最高降幅达 95%,API 服务已上架千问 AI 平台。
推荐理由:Qwen-Audio-3.1-TTS 登顶权威评测,且全线模型大幅降价,开发者能直接获取低成本的多语种语音 API。
面壁智能在 2026 中国—东盟博览会上展示端侧高效大模型与多语种语音底座 VoxCPM。 VoxCPM 基于 2B 参数高密度架构,支持 30 种语言与 9 种方言,具备声音克隆与 LoRA 微调能力。面壁智能提出“密度定律”,其端侧模型最小可在几十元芯片上运行,已成功交付老挝国家大模型。
Google 推出 Gemini 3.8 Flash TTS 和 Flash-Lite TTS 两款语音生成模型,即日起在 Gemini API、Google AI Studio 及多款产品上线。
推荐理由:Gemini 3.8 Flash TTS 在 Hume AI 基准中拿下第一,结合自然语言声音设计与多语支持,为音频生成提供了可落地的参考维度。
阿里云在 2026 云栖大会 DAY2 发布真武 V900 AI 芯片,性能是真武 M890 的 3 倍,预计 2027 年 Q1 量产;同场发布 Qwen-Audio-3.1 系列语音模型,全线价格最高下调 95%,API 已上架千问 AI 平台。
科大讯飞正式发布新一代语音识别大模型 Spark-ASR-2.0。该模型通过非自回归与 LLM 增强自回归协同等技术创新,整体推理成本仅相对 Spark-ASR-1.0 增加 10%,并在中英混合、方言及复杂声学场景的识别效果上实现大幅提升。Spark-ASR-2.0 将逐步上线讯飞输入法,并通过讯飞开放平台提供 API 服务。
Qwen-Audio-3.1 系列正式发布,包含 ASR、TTS、ASR-Next、TTS-Next 和 Realtime 五款模型,API 已上线千问 AI 平台,全线价格大幅下调,其中 TTS 降价约 70%,Realtime 降幅约 85%,ASR 降幅达 95%。
推荐理由:该发布通过覆盖语音识别、合成与创作的完整模型矩阵与显著降价,为实时交互和音频内容生产提供了新的工程基线。
千问发布 Qwen-Audio-3.1 系列,包含 ASR、TTS、Realtime 及 ASR-Next、TTS-Next 五款模型。全线 API 已上架千问 AI 平台,价格大幅下调,其中 TTS 降价约 70%,Realtime 降幅约 85%,ASR 降幅达 95%。
推荐理由:官方一次性给出五款模型的能力边界、价格降幅与接入地址,可据此评估语音工作流的落地成本。
阿里巴巴集团CEO吴泳铭在2026云栖大会演讲中提出机器思考总量未来将超过人类1000倍,并公布Qwen3.8-Max模型与真武V900 AI芯片。Qwen3.8-Max通过自主迭代完成33轮训练优化,在未知GPU上实现推理吞吐量提升96%;真武V900性能为前代3倍,支持扩展至50万卡的集群规模。
推荐理由:吴泳铭提出机器思考总量将达人类1000倍,并同步发布Qwen3.8-Max与真武V900芯片,展示阿里在模型、芯片及云侧的全栈布局。
千问正式发布基于 Interleave 架构的同声传译大模型 Qwen3.8-LiveTranslate,支持 60 种语言,新增实时说话人分离、双语同屏及长上下文消歧能力。模型字均延迟(LAAL)从上一代的 2.8 秒降至 2.3 秒,在相关多语言评测中翻译质量与语音合成效果领先于上一代及当前主流系统。模型 API 已上线千问 AI 平台,并提供在线尝鲜体验入口。
推荐理由:原文给出了 Interleave 架构和降低延迟的关键数据,读者可据此判断实时同传体验的实质变化。
阿里巴巴 Token Foundry Qwen Audio 团队在 EMNLP 2026 的 3 篇长文全部被主会或 Findings 接收。这三篇论文分别提出了 MosaicAudio、ConsensusBench 和 MNCE 技术。
科大讯飞在第23届中国—东盟博览会上展示了其在医疗、教育和多语言交互领域的AI产品。广西医保影像云平台已接入469家医疗机构,归集影像超1200万例,预计可降低患者约30%的检查费用。 讯飞星火智能批阅机M50支持分步批改,将每班作业批改时间从约1.5小时压缩至几分钟;讯飞AI眼镜支持面对面翻译,多语言会议系统覆盖东盟十国语言。这些能力均基于讯飞星火X2.5大模型底座。
阿里将于 2026 年 9 月 22 日至 24 日在杭州举办千问语音大模型分论坛,集中展示 Qwen-Audio-3.1 系列在语音识别、生成与实时交互的最新进展。
科大讯飞上线基于全国产算力训练的语音基座大模型 Spark-Audio-1.0-Preview,采用 0.65B 音频编码器搭配 30B-A3B 语言模型,支持 99 种语言和 202 种方言识别,并在高噪声等复杂场景下表现领先。体验链接为 https://iflytekresearch.iflytek.com/experience/spark-audio,API 后续将上线讯飞开放平台。
推荐理由:原文给出了全国产算力训练的首个语音基座模型参数和跨语言识别成绩,读者可据此评估其在复杂场景下的可用性。
Google DeepMind 发布两款最先进实时对话模型 Gemini 3.8 Live 与 3.8 Live Extended Thinking,分别面向规模化高性价比场景和高复杂任务。
Qwen Audio Agent 通过六个实测场景展示座舱智能体能力,支持一句话完成多项操作及多地导航规划。该智能体允许后台任务与前台聊天并行,支持语音定制专属技能、记忆日常偏好以及切换风格与语言。
阶跃星辰正式发布 StepAudio 3 系列模型,包含 Realtime、ASR、TTS、Gen 和 Music 五款产品。Realtime 模型在 Artificial Analysis 榜单实现 98.9% 综合得分和 99.7% 语音推理准确率,ASR 模型词错误率达 1.7%,并上线阶跃开放平台支持多模态音频创作。
推荐理由:系列模型在实时交互、语音识别和音频生成的榜单成绩具体,展示了语音模型从转写理解向全链路创作演进的能力。
阿里语音AI推出基于 Qwen Audio Agent 的智能座舱示例,支持在后台持续执行任务时进行前台聊天及多途经点导航。评测显示,短上下文用例通过率达 97.67%,50 轮连续对话中逐轮工具行为准确率达 99.80%。
深圳耐思技术负责人大明哥团队基于 OpenBMB 的 VoxCPM 模型,自研 S2S、MDN、QUIC 三条全语音链路及“前端挂起式打断”机制,解决传统串行链路无法打断、延迟高的问题。团队利用 VoxCPM 完整版与 Nano 版分工,结合六库系统打造数字分身,在 9 个月内以平均三天一个 MVP 的节奏落地上百个应用,涵盖明星生日祝福、老人有声自传及 AI 采访助手等场景。
推荐理由:文章通过耐思团队案例,展示了基于 VoxCPM 构建全语音链路及前端挂起交互的落地路径,揭示了端侧语音应用从 Demo 到商业化的技术细节。
阿里语音 AI 团队在 ModelScope 开源 FLASepformer 与 JAEC 模型,分别实现高效语音分离和可解释回声消除。FLASepformer 采用 Gated Focused Linear Attention 将长序列注意力复杂度降至 O(N),在 30 秒混合音频设置下推理速度达 SepReformer 基线的 1.49 至 2.29 倍。
针对多人声干扰下的语音识别难点,文章对比了 Target-Speaker ASR 与前景说话人转录两种技术路线。前者依赖声纹注册锁定特定用户,后者基于距离、能量及交互上下文判断当前交互主体。尽管两者可共用包含重叠语音、混响及空间关系的数据底座,但必须严格区分任务语义与标签定义,避免将“能听清”误判为“应输出”,从而让模型学会在识别层面隐式选择交互主角。
阿里百炼发布 Qwen Audio 移动端 SDK,这是一款基于 C++ 核心、覆盖 Android、iOS 及 HarmonyOS 三端的语音 AI 开发套件。
腾讯混元正式发布新一代语音识别模型 Hy ASR 3.0 preview,基于 Hy3 大语言模型融合高精度识别与深度语义理解。在开源评测集中,中文普通话 WER 为 3.34%,英语 WER 为 2.62%,粤语 WER 为 3.12%;模型重点提升了通用识别准确性、上下文意图理解、专业场景热词注入及复杂声学环境稳定性。
推荐理由:原文给出了多语种WER数据和上下文纠错能力,读者可据此评估其在复杂场景下的语音识别表现。
小米发布并开源终端 AI 编程助手 MiMo Code V0.1.0,内置限时免费的多模态模型 MiMo-V2.5,并采用 MIT 协议开放。
推荐理由:原文给出了 MiMo Code 的专属 Harness、Compose 模式以及在相同模型下对比 Claude Code 的基准分数,可据此理解其协同优化思路。
ServiceNow 扩大了 OpenAI 前沿模型在 ServiceNow Platform 上的访问权限。这将驱动 AI 驱动的企业工作流、摘要、搜索和语音功能。
OpenAI 发布高级语音到语音模型 gpt-realtime 及 Realtime API 更新。新能力包括 MCP server 支持、图像输入以及 SIP 电话呼叫支持。
推荐理由:OpenAI 发布 gpt-realtime 模型,新增图像输入与 SIP 电话支持,扩展了实时语音交互的技术边界。
GPT-6 Astra 在 Retell 语音智能体基准测试中表现领先,助力公司实现每月 1 亿次通话量。同时 Codex 协助提升效率,使员工人均年收入运行率达到 160 万美元。
Hugging Face 发布专为 Python 设计实时通信库 FastRTC,简化实时音视频 AI 应用开发。该库内置语音检测、轮替控制和 WebRTC Gradio 界面,支持通过 FastAPI 自定义部署,并提供免费电话接入功能,开发者可结合 Moonshine、Kokoro 等模型快速构建实时语音应用。
推荐理由:为 Python 开发者提供开箱即用的实时音视频通信库,降低 WebRTC 工程门槛,并内置 Gradio 界面和电话接入功能。
OpenAI 在本文详解了 Voice Engine 文本转语音模型的技术架构及背后的安全研究。文章重点探索了模型的核心技术实现与安全性保障机制。