OpenAI 发布 GPT-Live-1.1 升级语音体验
新音色。更好的口音。更少的“正在加载...”。 GPT-Live-1.1 为 ChatGPT、Codex 和 dots 中的 Voice 带来了这些更新,新增法语、德语、印地语、墨西哥西班牙语、韩语和日语音色。 今天起向所有用户推出。API 即将上线。
新音色。更好的口音。更少的“正在加载...”。 GPT-Live-1.1 为 ChatGPT、Codex 和 dots 中的 Voice 带来了这些更新,新增法语、德语、印地语、墨西哥西班牙语、韩语和日语音色。 今天起向所有用户推出。API 即将上线。
Haivivi 发布新一代“光之召唤”奥特曼 AI 互动对话器,通过集成 6 种功能实现“一机顶六机”,支持故事共创与远程对讲。新品搭载硅基流动推理服务,其速度优于官方模型接口;该设备累计激活超 30 万台,日活达 5 万,长尾内容资产超 500 篇。
该研究将能量模型(EBM)引入非自回归语音合成,利用噪声对比估计(NCE)结合正负样本比较进行训练。 提出利用高性能自回归模型生成负样本的策略,并通过 Langevin MCMC 采样建立 EBM 与扩散模型的关联。 在 LJSpeech 数据集上验证,该方法性能优于 Tacotron 2,相关成果已被 ICASSP 2024 接收。
研究发现 Qwen2.5-Omni 和 MiniCPM-o 等模型中,中间层语音与文本表征几何对齐,但深层答案边际仍有差异,表明几何对齐不隐含功能等价。 具体而言,Qwen2-Audio 表现出较弱的对齐特征,提示不同的故障模式;注意力干预实验证实晚期注意力分配对答案码分离有因果影响,且压缩语音信号可修复部分仅出现在语音中的错误。
研究提出包含240条合成对话的MultiPartyTurnBench基准,涵盖2至5名说话人。 该基准评估话语结束与打断检测任务,发现学习系统在打断识别上表现不佳,准确性仅46.9%-54.7%。 这表明选择性发言权控制仍是多方语音交互中未解决的独特挑战。
研究团队推出 SEA-HELM Audio 框架,通过合成语音评估级联 ASR-LLM 流水线在多语言下的性能衰退。 覆盖中、英、马来、印尼、泰米尔五种语言,针对选择题推理和指令跟随任务,量化了文本与语音输入的准确率差距。
团队发布 Anuvani-LID,一款基于 115M 参数 Conformer 的专用语言识别模型,在 37 种条件下平均 macro-F1 达 0.914。 该模型在 54,643 小时印度语音数据上训练,支持 22 种印度语言及带印度口音英语,比 Gemini 3.5 Flash 高 5.2 个百分点,且具备校准性。
提出 AFFIRM 修复器在单遍推理中通过冻结检查点修复语音访问。在平衡的合成 PopQA 上,AFFIRM 未表现出显著优势。 在 SLUE-SQA-5 数据集上,无需重新适配的 AFFIRM 算子使 ROUGE-L 提升了 0.0941。低秩 ReFT 同样有效,但 SALSA 变体性能下降。 验证了文本获取与语音访问在模型更新后可能分化,需单独修复。
研究团队发布 ELARSpeech,该数据集包含 675 种未代表语言的 30,202 小时语音,源自濒危语言档案库。 数据结合人工标注与无标签录音,实验显示其可支持将 ASR 和 TTS 能力扩展至这些语言,且对无标签数据进行伪标签能带来额外收益。 论文公开了数据集、所有训练好的 ASR 和 TTS 模型及完整的数据构建流程,旨在为长尾多语言语音技术提供资源和测试平台。
研究提出 CAFE 方法,通过限制 CKA 梯度在英语绕过的适配器中解决多语言 ASR 的蒸馏矛盾,在 Open ASR Leaderboard 上平均 WER 从 8.55% 降至 8.02%。 该方法基于发现 CKA 梯度与英语子空间重叠率达 97.5%-99.5% 的分析,在 254M 参数规模下落后 0.6B 教师模型 2 个 WER 点,但在 24 种语言的 48 个测试集上具有竞争力。
自托管的 9B 参数模型经微调,可将 4 个未见过的催收及非债务监管流程的合规检查通过率从 67% 提升至 93%。 该方法通过 FlowSpec 生成指令并限定仅使用许可句库,显著降低违规风险。 对共享规范的审计发现 11 处缺陷,其中 3 处未被原有指标覆盖。
阿里巴巴 Token Foundry Qwen Audio 团队 3 篇论文获 EMNLP 2026 主会及 Findings 接收,涵盖视频到音频生成、大模型推理与语音合成。
Qoder 已集成到千问AI耳夹式耳机中。用户通过耳机唤醒 Qoder 后,可语音指令继续推进电脑上的未完成任务,或通过 Computer Use 功能让 Agent 像人一样操作屏幕、点击鼠标和敲键盘来完成具体事务。耳机支持全双工语音交互,允许用户在 Qoder 说话时随时插话修正指令。
推荐理由:耳机与Agent结合,允许用户通过语音指令继续电脑上的任务,并直接操作电脑完成具体事务。
CoReLoop 提出使用循环特定的 LoRA 和轻量级模块,在不更新原始参数且不使用新数据的情况下,改善基于自监督学习(SSL)的音频深度伪造检测器泛化能力。
该研究提出 Auto-AEG 管道,通过自动数据构建与模型微调解决开放词汇音频事件定位中的数据稀缺瓶颈。 利用程序合成片段提供冷启动监督,并结合真实音频的多模型伪标签强化学习,显著提升大音频语言模型的时间定位能力。 该方法在 AEGBench 等基准测试中展现出显著的时间定位增益,并泛化至多种留出声源检测任务。
RAIL提出基于CHC框架的听觉智能基准,评估26个大音频语言模型发现知识任务表现强但听觉感知与记忆弱。 该基准揭示模型依赖语言预训练,听觉推理效率低且落后于人类表现。 RAIL确立了人类对齐的听觉智能评估新框架,已被NeurIPS 2026接收。
论文提出 NAVIR 系统,在 BrainChip Akida 上实现端到端视听语音识别,这是该类神经形态硬件上首个完整的多模态 AVSR 流水线。 系统在 GRID 基准下噪声环境词错率达 14.0%,较纯音频基线提升显著;能耗比树莓派低 5 倍,比笔记本 GPU 低 100 倍以上,维持 14.5 次/秒推理。 显著降低边缘设备能耗,提升工业环境人机交互鲁棒性。
CodecFlow 提出了一种基于神经音频编解码的带宽扩展(BWE)框架,通过条件流匹配在紧凑潜空间实现高效语音重建。 该框架采用感知音高(voicing-aware)条件流转换器和结构约束残差向量量化器(RVQ)以改善潜空间对齐稳定性。在 8 kHz 至 16 kHz 及 44.1 kHz 的语音 BWE 任务中,CodecFlow 展现了高保真频谱质量和增强的感知质量。
作者发布 TontaubeV1 模型,利用 Qwen3 系列架构实现了单卡流式文本转语音,首包延迟约 200 ms。该模型在盲测中 70.25% 的听众认为其韵律优于 Fish Audio S2 Pro,权重已在 Hugging Face 开放。
AudioChaps 是一个通过后训练对齐端到端大音频语言模型(LALM)用于音频章节化的框架,使用由思维链(CoT)推理引导的组相对策略优化(GRPO)。
summary_zh: 针对声旁切分与识别任务,研究人员提出基于自监督语音模型(S3M)的 SPAM 方法。该方法通过声学生激活映射将 S3M 表示帧映射为语音特征激活向量,并引入无梯度下降的轻量化预测头。
DELTA-TTS 将预训练自回归 TTS 模型转化为离散扩散语言模型,在 Seed-TTS test-en 上实现 1.75% WER,生成速度提升 3.3 倍。 框架基于轻量 LoRA 适配,引入卷积模块、1/t 加权训练目标与时间偏移推理调度,仅使用 585 小时 LibriTTS 数据训练。 该方法缓解自回归生成的幻觉问题,提升文本-语音对齐与解码置信度,音频样本、代码及权重已开源。
该综述针对边缘部署的音频大语言模型智能体,提出了声学感知到动作(S2A)系统模型,以追踪安全影响路径。模型综合了现有声学、智能体及边缘系统文献,分析跨组件及阶段转换中的安全缺口。该发现要求跨持久状态、系统边界和部署条件,对声学影响进行从感知到动作的端到端安全评估。
LiveAnon 提出一种基于语音转换的流式说话人匿名化系统,通过直接条件化自回归编码语言模型于预训练流式 ASR 编码器的隐藏特征,在无需情绪特定监督的情况下保留情绪。 该系统引入有界 RVQ 解码以降低延迟,在 VPC24 基准中比固定目标 Stream-Voice-Anon 具有更高的可懂度和情绪保留,并实现流式系统中最强的半知情隐私;在 VPC26 中各项指标排名第二。
UA-Bench 提出首个评估大型音频语言模型水下声学识别能力的大规模基准,包含 375,051 条参数化音频记录。模型在 2,600 条测试集上无任务适配的叶级准确率仅为 2.0%–13.1%,而随机基线为 7.7%。该基准为模型提供了参考点,其发布的训练分区支持后续适配研究。
Index-Translate 发布,包含 2B、9B 和 35B-A3B 三个尺寸,支持 150 种语言翻译及指令遵循,性能比肩 100B 规模模型。 系列还引入 Index-Echo 端到端语音翻译、Index-Homura 音节受控配音及 Index-NativeLong 长文档翻译,覆盖多元任务场景。
提出基于 Whisper-small 的统一音频深度伪造检测框架,在 ADD 2022、FakeOrReal 等基准上取得 1.51% 的平均 EER 最优结果。
GAMW将自适应多比特水印嵌入TTS生成过程,16比特负载下抗复合扰动解码准确率超最强基线23.5个百分点。 该方法结合焦点调制与逐比特动态加权,支持高负载下可靠解码,并保持语音质量竞争力,代码已公开。
针对无对齐 TTS 模型在跨语言场景下的时长失配问题,研究构建了覆盖英语及 9 种印度语言的跨语言评估基准。 提出语言感知的推理时时长估计策略,通过引入特定语言的每字符时长统计来优化 A-DMA 模型。 该策略无需重新训练或修改架构,即显著提升了语音的自然度、可懂度及说话人相似度,相关资源已公开。
Audio8-TTS 是一款 0.6B 参数的零样本语音克隆模型,在 intelligibility、speaker similarity 和 perceptual naturalness 上达到 SOTA 表现。模型通过构建开源 TTS 质量阶梯训练现实度批评家,并使用 GRPO 以 WER 和 SIM 为奖励优化,最终阶段保留 WER 性能并提升韵律自然度。
AlignAudio 提出双对齐噪声鲁棒生成框架,在语音转音频(STA)和语音转换(VC)任务中,于多种噪声条件下显著优于基线模型。 框架包含语义保持对齐与流匹配生成一致性约束,支持单流与多流语音条件,可集成至不同 flow matching 生成架构及后训练设置。
TypoCast 基于 CVSS-C 测试超越 SOTA 系统,仅用 228M 可训练参数支持七种语言。 它采用层级语言编码和混合专家适配器,通过类型学特征共享监督信号。 消融实验表明条件信号在训练期关键,推理期移除后 BLEU 变化小于 0.2。
JAL-Turn 是一种轻量级语音轮次切换检测框架,通过跨注意力模块自适应融合预训练的声学与语言表征,实现低延迟的保持或切换预测。 该框架共享冻结的 ASR 编码器,使轮次切换预测与语音识别完全并行,几乎不增加端到端延迟;实验表明其在 Easy-Turn、Smart-Turn 基准及日本客服数据集上检测精度具有竞争力,且实时性能更优。
Fish Audio 开源了基于 35B 参数 MoE 架构的语音生成模型 Fish Audio Drama 3。该模型能根据自然语言指令生成多角色长对话,支持多轮修改、语音编辑及流式输入,其专属音频解码器可将推理速度提升至 271 帧/秒,已发布至 GitHub 和 Hugging Face 并支持 SGLang-Omni 部署。
推荐理由:报告详细解析了单模型实现多轮剧本修改、声线克隆及SGLang-Omni流式推理的架构设计与完整技术路线。
研究在四个语料库中发现,尽管平均后的说话者韵律分数高度一致(如ESD达0.997),但其与抑郁症或PTSD严重度的关联未超过0.15。 词级韵律在不同语境下的复现性很低(0.01-0.16),且等效性测试排除了0.30及以上效应。代码已公开,证实聚合韵律无法检测相关疾病严重度。
VoTSpeech 通过显式中间语音 latent 将语音设计与语音生成分离,基于共享语言模型骨干,用 flow-based 模块从文本指令预测连续 voice latent,并作为 Acoustic DiT 与语言模型的共享条件。
RUBATO 提出多流位置编码方案,通过独立时钟解耦流,实现全双工模型硬件自适应解码。 训练仅需两种极端解码速度即可零样本插值适配中间速率,简化数据集构建。 在 Spoken GSM8K 任务中,RUBATO-Full 保持 48.7%-51.1% 准确率,较基线提升显著并缩短 6.5 倍回答时间。
提出一种基于预训练语音编码器检测语码转换的轻量方法。 该方法通过识别单语录音中的语言选择性隐藏状态维度,结合帧级激活预测语码转换,Whisper-small 编码器在 CS-FLEURS 的 14 个语言对平均 F1 达 0.798。 此方法无需依赖多语转录,有助于构建更具代表性的多语训练语料库。
研究发现 Whisper 大语言模型的 LoRA 微调增益并非均匀分布,且池化 LoRA 常能匹配甚至优于组特定 LoRA。 研究覆盖 Common Voice、LibriSpeech 和 VoxPopuli 数据集,发现增益集中于 Common Voice 困难组,在低误差的 LibriSpeech 上几乎消失。 结论指出,在解释个性化证据前,应将零样本增益与匹配的池化适应进行对比。
两项研究表明,克隆熟悉人的声音用于虚拟角色时,个性印象的迁移是有限的,并未系统性地让受众将虚拟角色视为有能力的社会行为者。 研究发现效果具有选择性且无法在不同特质或研究情境间泛化;在线研究中,可识别的声音线索仅激活了说话者预期,未重构完整的个人印象,且判断常受感知人工性及声貌匹配度影响。