跳到正文
10月23日周五
  1. 科大讯飞61

    科大讯飞发布端云一体星火X2.6、SparkAudio 1.0及WinWork数字员工平台

    科大讯飞发布端云一体星火X2.6,实现全国产算力下的模型训练与推理,长上下文训练效率提升约4倍,推理效率提升4.5倍。同步发布星火语音基座大模型SparkAudio 1.0,整体效果提升20%,响应时间降低15%。推出讯飞星帆WinWork数字员工平台,支持80余类数字员工上线,Token消耗节约44%。

    推荐理由:发布端云一体模型X2.6及SparkAudio 1.0,通过长程训练与动态并行技术,实现全国产算力下的高效推理与成本优化。

  2. arXiv · NLP20

    基于语言学维度的TTS自动评估基准揭示MOS预测器与Audio-LLM裁判的局限性

    研究将语音自然度解构为10个语言学感知维度,构建首个包含860条语音片段的TTS元评估基准。实验显示,MOS预测器更敏感于韵律和副语言声学属性,Audio-LLM裁判则呈现依赖提示词的选择性检测,偏好识别词级错误。两类模型均无法可靠捕捉广泛的语言结构语音错误,相关数据集与评估代码已公开。

  3. arXiv · NLP29

    SunflowerASR 利用 Group Relative Policy Optimisation 提升低资源多语言语音识别

    基于 Whisper-large-v3 的非 LLM 编码器-解码器模型 SunflowerASR 采用 Group Relative Policy Optimisation 训练,在 51 种非洲语言上取得最好公开宏平均 WER。 该模型在 AfriVox-v2 基准达到 0.227、SimbaBench 达到 0.372,并在公开可用的情况下,尤其在训练数据稀缺或音频有噪声、退化时优势最显著。

  4. arXiv · NLP20

    新晋尼泊尔-英语语码切换 ASR 基准:1.3 万条自发播客音频

    新基准包含 13,044 条尼泊尔-英语自发播客音频(共 15.45 小时),并公开了转录文本、时间戳及重建脚本,以应对语码切换自动语音识别中的书写系统混淆问题。 采用两阶段合成到真实适配框架:第一阶段通过 0.95 小时双引擎 TTS 合成语音微调,将混合错误率(MER)从 23.40% 降至 21.52%;第二阶段使用 GRPO,使语言切换点错误率(SPER)进一步降至 28.70%。

  5. AWS Machine Learning Blog45

    Amazon Polly 生成引擎重大升级:新增 14 种语音并支持印地语与芬兰语

    Amazon Polly 生成引擎升级现已全面可用,提供更具表现力的语音输出,并新增印地语和芬兰语支持。 此次升级增加了 14 种新语音,覆盖 9 个语言区域,生成语音总数达 57 种,分布于 11 种语言。作为直接升级,现有 API 调用无需变更即可使用新特性,支持低延迟流式处理。

10月22日周四
  1. arXiv · NLP25

    Qwen-Audio-3.1-ASR 技术报告

    Qwen-Audio-3.1-ASR 模型家族发布,支持 30 种语言和 16 种中国方言,新增说话人分离转录与通用音频理解功能。 该模型提供同步文件、低延迟流式等部署变体,具备历史上下文条件控制、层级热词定制及转录润色能力,覆盖音频、语音和音乐描述等任务。 评测表明其具备从语音识别到更广泛音频分析的多种能力。

  2. arXiv · NLP35

    Omnilingual-MsASR:多模态大模型长时长多说话人语音识别基准测试

    研究人员提出 Omnilingual-MsASR,这是覆盖 6 种语言、最长 30 分钟及 20 位说话人的多模态长音频多说话人自动语音识别基准。 该基准提供并行音视频输入,用于评估模型跨模态一致性及利用互补线索的能力。 对领先全模态大语言模型的评估发现,其 tcpWER 常超 100%,凸显了时间定位与说话人区分等挑战。

  3. arXiv · ML33

    跨语言语音克隆中的闭环双参考指导技术

    提出闭环双参考指导技术,通过原生锚点语音转换解决跨语言克隆中的母语口音残留问题。 使用冻结 TTS 模型和预构建锚点,在 20 名法语说话者测试中,LID 残留减少 73%,平均 WER 低至 0.009,实时率比级联系统低 26%。 盲测显示发音自然度优于直接克隆,且在无需重新调整的情况下可将西班牙语 LID 残留降低 56%。

  4. arXiv · ML21

    VoxCPM2 中连续隐空间 TTS 的可解码性与可控性分离

    在 VoxCPM2 中,高线性可解码性不代表因果可控性,RALM L7 层探针准确率 0.970 但 60 对编辑均未达主导。 早期 L0 位置对齐编辑提升目标相似度 0.326,并在所有 60 对中实现目标主导,x-vector 消融将源相似度降至 0.006。 研究确立了免训练说话人控制需几何特异性与声学计算路径两个必要条件。

  5. arXiv · NLP21

    说话人锚定全双工对话恢复:通过路由模块降低错误轨道时间

    新提出的1.84M参数说话人锚定路由模块在扩散生成前将分离语音流匹配至固定身份,无需重训生成器。该模块将远程对话中的错误轨道时间从43.9%降至4.1%,固定轨道活动F1分数从0.46提升至0.84,且重建质量保持不变。 此方法可迁移至面对面及电话录音,结合边距门控验证步骤,使错误轨道时间进一步降至0.9%-1.7%,为全双工对话建模提供参与者一致的语音轨道。

  6. arXiv · NLP31

    如何使用激活引导技术提升 ASR 系统的性能与公平性

    激活引导技术中,监督优化比成对减法更有效,能同时提升语音识别(ASR)总体性能及性别、年龄、方言等维度的公平性。研究指出,利用声学相似演讲者训练引导向量(SV),其性能可媲美甚至优于使用同一人或相同人口统计组训练的结果。这表明该技术可支持基于人口统计信息的少样本适配,或在无标签情况下实现零样本适配。

  7. arXiv · NLP21

    MoPE-LoRA:基于音素专家混合的 Conformer 模型低秩适应方法

    研究提出 MoPE-LoRA 框架,通过将低秩专家对齐至发音类别实现带口音英语识别的参数高效适应。 该方法包含 6 个专家并采用混合路由机制,在 L2-ARCTIC 零样本评测中较单 LoRA 提升 12.3% 相对准确率。 结果表明按音素分解比按口音适配更具可扩展性与可迁移性,已被 Interspeech 2026 录用。

  8. arXiv · NLP25

    AutoTerm-SST:零会话时设置的流式语音翻译自适应术语记忆系统

    AutoTerm-SST 通过离线术语目录和话题切片,实现无需会话时上传术语表即可进行流式语音翻译。 在 ACL 和 ESO 肿瘤学演讲测试中,其术语准确率(88.3%)和 BLEU 分数(45.09)与已知领域基准持平,并优于百万条合并术语表。 系统运行 RTF 为 0.406,vLLM 主机可支持 32 个实时会话,展示了实时且无需设置的术语感知翻译能力。

10月21日周三
  1. Hugging Face Blog70

    IBM 发布 Granite Speech 5.0 系列模型与更新版本,支持高精度多语言转写、翻译及极速端侧推理

    IBM 发布三款语音模型更新:新模型 granite-speech-5.0-2b 支持多语言高精度 ASR、翻译及 2000 词关键词偏置,英文短文本 WER 为 5.06%。

    推荐理由:IBM 发布并更新了 3 款开源语音模型,分别针对多语言高精转写、端侧极速推理与多说话人归属场景,给出了具体性能指标对比。

  2. 阿里语音AI77

    Qwen-Audio-3.1-Realtime 发布:实现全双工实时语音交互

    Qwen-Audio-3.1-Realtime 发布,实现“边听、边想、边说、边动”的全双工实时语音交互,支持并行工具调用与异步任务执行。在 Audio MultiChallenge 评测中达到 52.21% 通过率,在 Full-Duplex-Bench v1.5 中用户打断响应率 84.5%,表现优于 GPT-Realtime-2。

    推荐理由:原文给出了全双工交互架构和多模态后训练方法,读者可以据此了解实时语音Agent的技术实现路径。

  3. arXiv · AI20

    SLM-SS:基于令牌生成模型的语音分离框架

    SLM-SS 提出基于令牌的生成式语音分离框架,利用语音语言模型处理多人混音。 在 Libri2Mix 数据集上,SLM-SS 结合 per-talker NAR 策略实现 6.92% 的词错误率。 WavTokenizer 变体在未见过的噪声及中文混合场景中保持客观与主观质量优势。

  4. Mistral AI76

    Mistral 发布 Voxtral 3 语音智能体模型与 SDK

    Mistral 发布 Voxtral 3 系列,包含语音转文本、文本转语音模型及基于 LiveKit 的语音智能体 SDK。语音转文本模型 Voxtral Small Transcribe 3 支持 50 多种语言,在 FLEURS 基准测试中表现优于 Whisper 和 Gemini 3.5 Transcribe。

    推荐理由:Mistral 推出 Voxtral 3 语音智能体 SDK 及模型,覆盖 50 多种语言,读者可借此了解其实时流式对话与工具调用的整合方式。

10月20日周二
  1. 阿里语音AI67

    阿里云百炼多模态交互套件升级 Qwen-Audio-3.1 语音模型

    阿里云百炼多模态交互套件升级 Qwen-Audio-3.1 语音模型,提供低延时流式 ASR 与流式 TTS 能力,支持30种语言和16种中文方言。TTS在 Artificial Analysis 语音排行榜中取得1177 Elo评分;相较上一代,TTS 价格降低约70%,ASR 价格降幅达95%。

    推荐理由:升级聚焦ASR与TTS两端能力与成本,开发者可据具体指标评估硬件接入路径。