PhonoBridge:基于误差感知音素中介的肌电到文本重建框架
PhonoBridge 提出一种两阶段肌电到文本重建框架,通过音素作为中间表征解码头体数据限制。 在开放词汇无声语音数据集上,PhonoBridge 达到 24.77% 的 WER,优于此前该测试集上报告的 28.27% 最佳水平。
PhonoBridge 提出一种两阶段肌电到文本重建框架,通过音素作为中间表征解码头体数据限制。 在开放词汇无声语音数据集上,PhonoBridge 达到 24.77% 的 WER,优于此前该测试集上报告的 28.27% 最佳水平。
新提出的1.84M参数说话人锚定路由模块在扩散生成前将分离语音流匹配至固定身份,无需重训生成器。该模块将远程对话中的错误轨道时间从43.9%降至4.1%,固定轨道活动F1分数从0.46提升至0.84,且重建质量保持不变。 此方法可迁移至面对面及电话录音,结合边距门控验证步骤,使错误轨道时间进一步降至0.9%-1.7%,为全双工对话建模提供参与者一致的语音轨道。
语音大语言模型联合训练时,固定损失权重难以按需控制多任务权衡。 论文提出先验方法 EA-SURF,在训练中动态调整标量加权,使任务性能贴合预设偏好。 在六组三目标请求中,该方法的端点含归一化超体积比固定权重基线提升 17.8%。
summary_zh: 研究在单一评估框架中结合字错率、音节错率和分词字错率,对藏语语音识别进行多粒度分析。 利用字典、神经及语言模型分词方法,测试5种自动语音识别架构在拉萨藏语的表现,并在额外5个子语料库上评估零样本迁移和目标语料调适效果。
激活引导技术中,监督优化比成对减法更有效,能同时提升语音识别(ASR)总体性能及性别、年龄、方言等维度的公平性。研究指出,利用声学相似演讲者训练引导向量(SV),其性能可媲美甚至优于使用同一人或相同人口统计组训练的结果。这表明该技术可支持基于人口统计信息的少样本适配,或在无标签情况下实现零样本适配。
研究提出 MoPE-LoRA 框架,通过将低秩专家对齐至发音类别实现带口音英语识别的参数高效适应。 该方法包含 6 个专家并采用混合路由机制,在 L2-ARCTIC 零样本评测中较单 LoRA 提升 12.3% 相对准确率。 结果表明按音素分解比按口音适配更具可扩展性与可迁移性,已被 Interspeech 2026 录用。
WaveCommitments提出结合多项式承诺与Data Shapley的可信执行环境设计,实现语音资产的可验证交易。 实验显示该方法相比最强基线最高加速18.1倍,证明大小减少43.2倍。 该设计支持选择性开启和防篡改溯源,确保交付资产与估值匹配且隐藏其他信息。
AutoTerm-SST 通过离线术语目录和话题切片,实现无需会话时上传术语表即可进行流式语音翻译。 在 ACL 和 ESO 肿瘤学演讲测试中,其术语准确率(88.3%)和 BLEU 分数(45.09)与已知领域基准持平,并优于百万条合并术语表。 系统运行 RTF 为 0.406,vLLM 主机可支持 32 个实时会话,展示了实时且无需设置的术语感知翻译能力。
针对基于残差向量量化的 TTS 系统,研究提出利用主干网络隐藏状态中的均值差向量(difference-of-means vector)进行干预,以控制英语核心语调。
研究人员提出说话者激活后门(SAB),将目标说话者的声音作为触发器,无需在推理时攻击。 该方法在Whisper-medium和Parakeet上实现了90.2%和97.0%的后门成功率,且误报率极低。 攻击可向GPT-4o和Claude等前沿LLM注入指令,在最多87.5%的情况下驱动智能体执行有害操作。
通用汽车升级 OnStar 为互联智能平台,推出 OnStar AI 助手,支持“Hey OnStar”唤醒。 该助手能结合实时车辆数据、用户上下文及车辆知识库,解释警报并主动提供出行建议。OnStar 现有超 1200 万订阅用户,AI 助力其转向预测性服务。
UBC 与 Vector Institute 团队提出 RVCBench,对 18 个开源语音克隆模型进行鲁棒性评测。该基准覆盖输入、生成、输出及音频扰动四个环节,包含 18 项评测和 14,370 个样本。
IBM 发布三款语音模型更新:新模型 granite-speech-5.0-2b 支持多语言高精度 ASR、翻译及 2000 词关键词偏置,英文短文本 WER 为 5.06%。
推荐理由:IBM 发布并更新了 3 款开源语音模型,分别针对多语言高精转写、端侧极速推理与多说话人归属场景,给出了具体性能指标对比。
Qwen-Audio-3.1-Realtime 发布,实现“边听、边想、边说、边动”的全双工实时语音交互,支持并行工具调用与异步任务执行。在 Audio MultiChallenge 评测中达到 52.21% 通过率,在 Full-Duplex-Bench v1.5 中用户打断响应率 84.5%,表现优于 GPT-Realtime-2。
推荐理由:原文给出了全双工交互架构和多模态后训练方法,读者可以据此了解实时语音Agent的技术实现路径。
Ant 发布开源音频模型 Ming-3.0 Audio,采用 MIT 协议开源权重和代码。模型支持音频与文本混合输入,可生成书面或语音回复,并演示了分析财报电话会议、识别声音及讨论歌曲等场景。
针对隐私受限的金融领域 ASR 场景,本文证明使用 GRPO 强化学习训练合成语音时,能比 SFT 更好地从合成 TTS 数据中提取信息。 GRPO 将相对 SFT 的 WER 降低 40%(36.71% 降至 22.09%),SFT 与 GRPO 结合后降幅达 45%,主要机制是改善停止校准与音频注意力锚定。
提出ER-EDF框架,基于Gross扩展过程模型,通过识别情绪、选择策略、实施回复三阶段生成共情回应。 框架模型无关,集成进现有LALM;构建语音共情对话数据集及共情感知评估指标。 在五组LALM与两个数据集上实验显示,自动与人工评估中ER-EDF均持续提升共情响应质量。
summary_zh: 提出无需训练的VISH框架,在语音-LLM上下文ASR中直接验证声学证据以选择热词子集。 M-VISH通过帧同步共享前缀维特比搜索实现大规模列表验证,在五个基准测试中Best-F1提升最高11.7%,候选搜索延迟降低75.2%。
SLM-SS 提出基于令牌的生成式语音分离框架,利用语音语言模型处理多人混音。 在 Libri2Mix 数据集上,SLM-SS 结合 per-talker NAR 策略实现 6.92% 的词错误率。 WavTokenizer 变体在未见过的噪声及中文混合场景中保持客观与主观质量优势。
PW-Pruning 为语音中心全模态模型提出了相位感知的专家剪枝方法,通过构建声学前置与文本生成阶段独立的加权核,选出单一静态专家库。 该方法在 Qwen3-Omni 上保留每层 32/128 个专家,经微调后 MMAU-mini 和 MMSU 准确率较池化选择分别提升 3.20 和 4.38 个百分点。
提出包含 1094 个持续会话的全双工语音智能体基准 DuplexLedger,评测 5 个模型发现最佳最终状态事实覆盖率仅 2.01%。 提出 892 万参数的 ACT-Mem 侧车模型,将最新值准确率从 4.11% 提升至 8.68%,并减少过时断言。 结果表明选择性可审计记忆优于无差别转录保留。
Elevenlabs 于 10 月 20 日发布两款名为 Eleven Realtime 的语音模型。
杭州AI母婴科技公司两只兔子发布求知3 AI安全座椅、Ori Ring灵犀智能指环及FreeAir AI免手扶吸奶器三款新品。 三款产品分别搭载儿童AI大模型、女性周期监测算法及App智能控制,覆盖儿童出行、女性健康与哺育场景。 公司累计融资超2亿元,GMV同比增长200%,计划于2028年冲刺港交所IPO。
蚂蚁百灵开源Ming-3.0系列五款语音模型,覆盖TTS、ASR与音频理解场景,权重已在Hugging Face和ModelScope开放。Ming-3.0-tts-0.5B通过自然语言指令控制表演细节,Ming-3.0-audio-flash实测可分析多人对话性格并定位背景音位置,ASR模型支持热词与上下文辅助识别。
同一新闻,精选展示《蚂蚁百灵开源 Ming-3.0 语音系列模型》
Mistral AI 发布面向实时语音智能体的模型族 Voxtral 3,包含支持 50 多种语言转写的 Voxtral Small Transcribe 3、支持 35 种语言和 50 种方言的 Voxtral Mini TTS 3,以及基于 LiveKit 的语音智能体 SDK。
Mistral 发布 Voxtral 3 系列,包含语音转文本、文本转语音模型及基于 LiveKit 的语音智能体 SDK。语音转文本模型 Voxtral Small Transcribe 3 支持 50 多种语言,在 FLEURS 基准测试中表现优于 Whisper 和 Gemini 3.5 Transcribe。
推荐理由:Mistral 推出 Voxtral 3 语音智能体 SDK 及模型,覆盖 50 多种语言,读者可借此了解其实时流式对话与工具调用的整合方式。
Spotify 过去一年内已从用户推荐中移除超过 5000 万条被判定为 AI 生成垃圾或垃圾信息的歌曲。平台调整了推荐系统以突出人类艺术家的作品,并为使用 AI 身份的“AI Persona”艺术家添加徽章,但不推荐其音乐。
Wyzowl 发布了 SFX Kit,这是一个包含 320 个原创音效的 CC0 协议工具包,专为视频、动画和界面设计,并强调对 AI 工具的易用性。该工具包提供 WAV 格式文件(48 kHz, 24-bit,共 67 MB),每个音效均附带详细元数据(如使用场景、同步点、响度指标)以支持 AI 智能体自动选择和混音。
会议记录工具 Otter.ai 宣布从 General Catalyst 的 Customer Value Fund 获得 3.2 亿美元资金,该投资不稀释股权。
澳大利亚公司 Apate.ai 构建约 35 万个可打电话、发短信的 AI 虚拟身份,与诈骗电话进行主动交互,借此获取诈骗网站、银行账户、加密货币钱包地址等反诈情报,并为运营商和银行客户提供拦截能力。该公司今年 8 月完成 815 万美元种子轮融资,客户包括 Commonwealth Bank 和 TPG Telecom。
阿里云百炼多模态交互套件升级 Qwen-Audio-3.1 语音模型,提供低延时流式 ASR 与流式 TTS 能力,支持30种语言和16种中文方言。TTS在 Artificial Analysis 语音排行榜中取得1177 Elo评分;相较上一代,TTS 价格降低约70%,ASR 价格降幅达95%。
推荐理由:升级聚焦ASR与TTS两端能力与成本,开发者可据具体指标评估硬件接入路径。
阿里云百炼发布 One Key MCP 服务,将联网搜索、图像生成、视频生成、语音识别、语音合成及网页解析六项能力收进同一平台,使用一个 API Key 即可统一调用。
蚂蚁百灵开源 Ming-3.0 语音系列模型,涵盖语音合成、音频理解与对话、语音识别三大方向,共包含五款模型。其中 Ming-3.0-tts-0.5B 在 Artificial Analysis 的 Pronunciation Robustness 测试中得分 93.2%,并列全榜单第一。
推荐理由:蚂蚁百灵开源 Ming-3.0 语音系列,提供语音合成、音频理解与识别能力,并公开了模型下载与 API 入口。
蚂蚁百灵开源 Ming-3.0 语音系列,包含 Ming-3.0-tts、Ming-3.0-audio 和 Ming-3.0-asr 共五款模型,分别覆盖语音合成、音频理解与识别。
同一新闻,精选展示《蚂蚁百灵开源 Ming-3.0 语音系列模型》
Mangoslab 旗下 Nemonic Dot 盲文打印机近日获得《时代》杂志评选的 2026 年最佳发明奖。 该设备内置 AI 系统,支持超 100 种输入语言,可将语音或文本自动转换为凸起点阵,打印在 12 毫米宽的标签上。
Apate.ai 训练 35 万个 AI 虚拟身份拦截诈骗电话,累计进行 250 万次对话,消耗骗子时间达 17 年。 公司完成 815 万美元种子轮融资,系统通过 SIP/RTP 协议接入,在 AI 对话中收集诈骗账户等关键情报。 该模式使运营商无需用户安装软件即可自动拦截风险,将反诈从被动响应转为主动情报获取。
研究指出视听大语言模型(AV-LLM)在完整视频语音-视觉决策中常发生失败,尽管局部视觉证据可被恢复。 提出无需训练的Temporal Evidence Decomposition(TED)诊断框架,在SVHalluc基准的四个冻结AV-LLM上,Temporal Forecasting准确率从29.3%-33.7%提升至79.3%-82.2%。
非侵入式脑机接口研究中,训练时 Logit 平均法在 7 个设定中的 6 个表现最优。 该方法在 2025 PNPL 竞赛辅音分类任务上刷新 SOTA,平衡准确率超竞赛冠军 17.4 个百分点。 其性能优势基于 3 个数据集、4 项任务及 6 种聚合策略的系统比较。
CANVAS 系统基于 Zapier 工作流,利用 Gemini 2.5 Flash、GPT-5 Mini 和 Claude 3.5 Haiku 为视障人士生成 50 幅艺术品的 150 条叙述音频,总成本仅 5.10 美元。
arXiv 论文针对 Whisper 在纯静默音频中产生 61.9% 幻觉词的问题,提出使用语音合成系统生成 6,267 条正样本进行微调。实验显示该方法将静默音频幻觉率降至 2.4%,真实无语音音频出词率从 99.9% 降至 47.8%,同时短语恢复率从 69.8% 提升至 82.7%,在保持英语准确率的所有测试对中均有效。
推荐理由:作者实测指出 Whisper 静默幻觉率高达 61.9%,并提出使用合成正样本微调法,将幻觉率降至 2.4% 且未牺牲转写准确率。