跳到正文
10月6日周二
  1. arXiv · AI32

    UltraDub:统一视觉引导流学习与轨迹指导,实现逼真配音

    UltraDub 将视觉用作连续运动与结构节奏,提出统一视觉引导流学习与轨迹指导的配音框架,在四个数据集上取得 SOTA 性能。 其 MDR 模块通过共享唇动查询残差校准语言与说话人风格检索,RTG 免训练,在纯视觉预测中点评估分层多模态校正以保持时序对齐,并构建 DiverseDub 多场景基准。

  2. arXiv · AI22

    文本能否单独推断韵律风格?来自无监督声学聚类的证据

    一项研究用无监督声学聚类检验"文本足以选择韵律风格"这一假设,在 1,200 小时对话语料库的六位说话人上,文本嵌入对聚类 top-3 准确率仅比多数类基线高 +0.111。 词袋基线即达到该增益的四分之三,句嵌入仅额外贡献 +0.026,且在 360 种配置中声学聚类在文本嵌入空间均不紧凑。 研究认为文本主要通过词汇选择而非语义来提示韵律风格,无参考的风格选择不能假设更多。

  3. arXiv · AI28

    面向音频深度伪造检测的任务感知联合剪枝与蒸馏框架

    针对现有自监督学习检测器参数超300M导致无法部署于受限设备的问题,研究团队提出一种结合跨域知识蒸馏与运动引导结构化剪枝的任务感知联合框架。 该框架将模型压缩至31.9M参数并实现6.3倍FLOPs降低,在多个数据集上的平均性能下降仅1.30%,显著优于直接适配现有压缩方法的效果。 这一成果展示了该模型在资源受限设备上进行音频深度伪造检测部署的强大学潜力。

10月5日周一
  1. arXiv · ML30

    ParaGeo:基于共享潜空间几何分解副语言变异

    ParaGeo 提出一种在冻结语音语言模型中分解副语言变异的方法,利用 GLM-4-Voice 探针生成 80 个控制条件。在内容留出的情况下,其质心准确率相比置换基线从 1.25% 提升至 9.49%,同标签跨内容余弦相似度达到 0.285。该研究为副语言结构测量提供了共享坐标表示,并发布了相关代码。

  2. arXiv · AI21

    可控口音归一化:基于离散扩散的 DLM-AN 系统

    针对语言学习和配音场景对口音强度调节的需求,研究者提出基于掩码离散扩散的可控口音归一化系统 DLM-AN。该系统通过通用词预测器选择性复用源语音 token 来控制口音保留度,并引入流匹配时长比例预测器自动调整发音节奏。在多口音英语数据实验显示,DLM-AN 实现了最低的词错误率,同时保持了具有竞争力的口音抑制效果和可解释的口音强度控制。

  3. arXiv · AI41

    DuplexJev 如何利用冻结 LLM 实现批量语音决策

    DuplexJev 将 ASR 编码器隐藏状态通过连接器传入冻结 LLM,将语音问题转化为单 token 分布进行批量决策,8 张 GPU 约 0.1 秒可处理 80 个决策。该模型配合交叉注意力连接器时,说话人性别与情绪识别准确率均达 90%,语音问答准确率保持在 82%。

9月30日周三
  1. Hugging Face Blog62

    Hugging Face 发布 Open TTS Leaderboard 用于多语言语音合成评测

    Hugging Face 推出 Open TTS Leaderboard,使用 WER、RTFx、TTFA 和 SIM 等客观指标评测开源及多语言 TTS 模型。目前支持 Seed TTS Eval 和 CV3 Eval 数据集,并提供语音克隆对比与流式性能测试,评测脚本将开源。

    推荐理由:原文给出了 Open TTS Leaderboard 的客观评测维度和开源模型定位,读者可据此了解如何快速对比多语言 TTS 性能。

9月29日周二
  1. 阿里语音AI80

    Qwen-Audio-3.1-TTS 拿下全球权威语音榜冠军

    9 月 28 日,Qwen-Audio-3.1-TTS 在 Artificial Analysis 的 Controlled Voice Arena 中以 1177 的 Elo 评分位列全球第一。该模型支持多语种及方言合成,强调声音情绪和语速的自然表达。当前 Qwen-Audio 全线语音模型价格下调,最高降幅达 95%,API 服务已上架千问 AI 平台。

    推荐理由:Qwen-Audio-3.1-TTS 登顶权威评测,且全线模型大幅降价,开发者能直接获取低成本的多语种语音 API。

9月28日周一
  1. 面壁智能38

    面壁智能亮相 2026 中国—东盟博览会:VoxCPM 语音底座支持 30 种语言与端侧大模型

    面壁智能在 2026 中国—东盟博览会上展示端侧高效大模型与多语种语音底座 VoxCPM。 VoxCPM 基于 2B 参数高密度架构,支持 30 种语言与 9 种方言,具备声音克隆与 LoRA 微调能力。面壁智能提出“密度定律”,其端侧模型最小可在几十元芯片上运行,已成功交付老挝国家大模型。

9月23日周三
  1. 科大讯飞49

    科大讯飞发布语音识别大模型 Spark-ASR-2.0

    科大讯飞正式发布新一代语音识别大模型 Spark-ASR-2.0。该模型通过非自回归与 LLM 增强自回归协同等技术创新,整体推理成本仅相对 Spark-ASR-1.0 增加 10%,并在中英混合、方言及复杂声学场景的识别效果上实现大幅提升。Spark-ASR-2.0 将逐步上线讯飞输入法,并通过讯飞开放平台提供 API 服务。

  2. 阿里语音AI87

    千问(Qwen-Audio-3.1)系列语音大模型发布,覆盖识别、合成、创作与实时交互

    Qwen-Audio-3.1 系列正式发布,包含 ASR、TTS、ASR-Next、TTS-Next 和 Realtime 五款模型,API 已上线千问 AI 平台,全线价格大幅下调,其中 TTS 降价约 70%,Realtime 降幅约 85%,ASR 降幅达 95%。

    推荐理由:该发布通过覆盖语音识别、合成与创作的完整模型矩阵与显著降价,为实时交互和音频内容生产提供了新的工程基线。

  3. 千问大模型81

    千问正式发布 Qwen-Audio-3.1 系列语音大模型

    千问发布 Qwen-Audio-3.1 系列,包含 ASR、TTS、Realtime 及 ASR-Next、TTS-Next 五款模型。全线 API 已上架千问 AI 平台,价格大幅下调,其中 TTS 降价约 70%,Realtime 降幅约 85%,ASR 降幅达 95%。

    推荐理由:官方一次性给出五款模型的能力边界、价格降幅与接入地址,可据此评估语音工作流的落地成本。

9月22日周二
  1. 阿里云85

    阿里云2026云栖大会:发布Qwen3.8-Max与真武V900,迈向机器智能时代

    阿里巴巴集团CEO吴泳铭在2026云栖大会演讲中提出机器思考总量未来将超过人类1000倍,并公布Qwen3.8-Max模型与真武V900 AI芯片。Qwen3.8-Max通过自主迭代完成33轮训练优化,在未知GPU上实现推理吞吐量提升96%;真武V900性能为前代3倍,支持扩展至50万卡的集群规模。

    推荐理由:吴泳铭提出机器思考总量将达人类1000倍,并同步发布Qwen3.8-Max与真武V900芯片,展示阿里在模型、芯片及云侧的全栈布局。

9月19日周六
  1. 千问大模型67

    千问正式发布 Qwen3.8-LiveTranslate 同声传译大模型

    千问正式发布基于 Interleave 架构的同声传译大模型 Qwen3.8-LiveTranslate,支持 60 种语言,新增实时说话人分离、双语同屏及长上下文消歧能力。模型字均延迟(LAAL)从上一代的 2.8 秒降至 2.3 秒,在相关多语言评测中翻译质量与语音合成效果领先于上一代及当前主流系统。模型 API 已上线千问 AI 平台,并提供在线尝鲜体验入口。

    推荐理由:原文给出了 Interleave 架构和降低延迟的关键数据,读者可据此判断实时同传体验的实质变化。

9月18日周五
9月17日周四
  1. 科大讯飞38

    科大讯飞亮相第23届中国—东盟博览会,展示AI在医疗、教育及多语言交互领域的应用

    科大讯飞在第23届中国—东盟博览会上展示了其在医疗、教育和多语言交互领域的AI产品。广西医保影像云平台已接入469家医疗机构,归集影像超1200万例,预计可降低患者约30%的检查费用。 讯飞星火智能批阅机M50支持分步批改,将每班作业批改时间从约1.5小时压缩至几分钟;讯飞AI眼镜支持面对面翻译,多语言会议系统覆盖东盟十国语言。这些能力均基于讯飞星火X2.5大模型底座。

9月16日周三
  1. 科大讯飞69

    科大讯飞上线全国产语音基座大模型 Spark-Audio-1.0-Preview

    科大讯飞上线基于全国产算力训练的语音基座大模型 Spark-Audio-1.0-Preview,采用 0.65B 音频编码器搭配 30B-A3B 语言模型,支持 99 种语言和 202 种方言识别,并在高噪声等复杂场景下表现领先。体验链接为 https://iflytekresearch.iflytek.com/experience/spark-audio,API 后续将上线讯飞开放平台。

    推荐理由:原文给出了全国产算力训练的首个语音基座模型参数和跨语言识别成绩,读者可据此评估其在复杂场景下的可用性。

9月15日周二
  1. 阶跃StepFun84

    阶跃星辰发布 StepAudio 3 系列语音大模型

    阶跃星辰正式发布 StepAudio 3 系列模型,包含 Realtime、ASR、TTS、Gen 和 Music 五款产品。Realtime 模型在 Artificial Analysis 榜单实现 98.9% 综合得分和 99.7% 语音推理准确率,ASR 模型词错误率达 1.7%,并上线阶跃开放平台支持多模态音频创作。

    推荐理由:系列模型在实时交互、语音识别和音频生成的榜单成绩具体,展示了语音模型从转写理解向全链路创作演进的能力。

9月14日周一
9月10日周四
  1. 面壁智能62

    OpenBMB 开发者大明哥:基于 VoxCPM 构建 AI 语音中台,一年落地百款应用

    深圳耐思技术负责人大明哥团队基于 OpenBMB 的 VoxCPM 模型,自研 S2S、MDN、QUIC 三条全语音链路及“前端挂起式打断”机制,解决传统串行链路无法打断、延迟高的问题。团队利用 VoxCPM 完整版与 Nano 版分工,结合六库系统打造数字分身,在 9 个月内以平均三天一个 MVP 的节奏落地上百个应用,涵盖明星生日祝福、老人有声自传及 AI 采访助手等场景。

    推荐理由:文章通过耐思团队案例,展示了基于 VoxCPM 构建全语音链路及前端挂起交互的落地路径,揭示了端侧语音应用从 Demo 到商业化的技术细节。

9月9日周三
9月3日周四
  1. 阿里语音AI29

    阿里语音AI解读:复杂人声干扰下目标说话人选择技术路线

    针对多人声干扰下的语音识别难点,文章对比了 Target-Speaker ASR 与前景说话人转录两种技术路线。前者依赖声纹注册锁定特定用户,后者基于距离、能量及交互上下文判断当前交互主体。尽管两者可共用包含重叠语音、混响及空间关系的数据底座,但必须严格区分任务语义与标签定义,避免将“能听清”误判为“应输出”,从而让模型学会在识别层面隐式选择交互主角。

9月2日周三
8月4日周二
  1. 腾讯混元70

    腾讯混元发布 Hy ASR 3.0 preview:新一代语音识别模型

    腾讯混元正式发布新一代语音识别模型 Hy ASR 3.0 preview,基于 Hy3 大语言模型融合高精度识别与深度语义理解。在开源评测集中,中文普通话 WER 为 3.34%,英语 WER 为 2.62%,粤语 WER 为 3.12%;模型重点提升了通用识别准确性、上下文意图理解、专业场景热词注入及复杂声学环境稳定性。

    推荐理由:原文给出了多语种WER数据和上下文纠错能力,读者可据此评估其在复杂场景下的语音识别表现。

6月11日周四
  1. Xiaomi MiMo67

    小米 MiMo Code V0.1.0 发布并开源

    小米发布并开源终端 AI 编程助手 MiMo Code V0.1.0,内置限时免费的多模态模型 MiMo-V2.5,并采用 MIT 协议开放。

    推荐理由:原文给出了 MiMo Code 的专属 Harness、Compose 模式以及在相同模型下对比 Claude Code 的基准分数,可据此理解其协同优化思路。

1月20日周二
8月28日周四
6月26日周四
2月25日周二
  1. Hugging Face Blog61

    Hugging Face 发布 Python 实时通信库 FastRTC

    Hugging Face 发布专为 Python 设计实时通信库 FastRTC,简化实时音视频 AI 应用开发。该库内置语音检测、轮替控制和 WebRTC Gradio 界面,支持通过 FastAPI 自定义部署,并提供免费电话接入功能,开发者可结合 Moonshine、Kokoro 等模型快速构建实时语音应用。

    推荐理由:为 Python 开发者提供开箱即用的实时音视频通信库,降低 WebRTC 工程门槛,并内置 Gradio 界面和电话接入功能。

6月8日周六