火山引擎上线豆包 SeedRealtime 1.0 API,实现全模态实时交互
火山引擎正式全量上线豆包实时音视频通话模型 SeedRealtime 1.0 API 服务。该模型将声音、画面、时序与表达统一到端到端架构中,替代了传统的 ASR、VLM、TTS 级联系统,降低了交互延迟与信息损耗。
推荐理由:火山引擎上线豆包 SeedRealtime 1.0 API,该模型将音视频流统一至端到端体系,实现了主动交互与实时判断。
火山引擎正式全量上线豆包实时音视频通话模型 SeedRealtime 1.0 API 服务。该模型将声音、画面、时序与表达统一到端到端架构中,替代了传统的 ASR、VLM、TTS 级联系统,降低了交互延迟与信息损耗。
推荐理由:火山引擎上线豆包 SeedRealtime 1.0 API,该模型将音视频流统一至端到端体系,实现了主动交互与实时判断。
Higurashi 发布并开源全双工语音基础模型 Haru-4B,支持同步听与说,在 MacBook 上端到端延迟约 65 毫秒。模型基于 4000 万小时真实语音预训练,避免使用合成对话,权重与代码分别在 Hugging Face 和 GitHub 开放。
推荐理由:模型在 Apple Silicon 上实现 65 毫秒端到端延迟,且完全基于真实对话数据训练。
Microsoft AI(MAI)在 Ignite 上一次性发布七个新模型,主打以更低成本替代其产品中使用的 OpenAI 模型。
Reson8 在 Hugging Face 开源 Rumble-2-Flash,这是一个支持 40 多种语言的 0.5B 参数语音识别模型,采用 Apache 2.0 许可。
推荐理由:0.5B 小参数模型在真实电话场景下可比肩 30B 模型,提供了低成本多语言语音识别的新选择。
微软在 Ignite 2026 大会上发布其首款语音对语音模型 MAI Realtime 1,基础语音使用费为每音频分钟 0.01 美元,涉及推理时按每百万输入 token 1 美元、每百万输出 token 5 美元计费。
推荐理由:原文给出了MAI Realtime 1 的定价结构、与 GPT Realtime 2.1 的基准对比以及 API 兼容范围,读者可据此判断其实际成本与迁移门槛。
微软在 Ignite 2026 上宣布 Dragon Copilot Transcribe 正式采用 MAI-Transcribe-2,承担全部医患对话转写任务,并实现多语言工作流约 50% 的错误率下降。该模型月处理约 1000 万次患者就诊场景,覆盖全美约三分之一医师,支持多种语言及混说场景,FLEURS 60 种语言平均词错误率为 5.2%,限时价格为每小时音频 0.10 美元。
Microsoft 发布首个语音转语音模型 MAI Realtime 1,基础语音交互价格为每分钟 $0.01。该模型在 Big Bench Audio 和 Tau-Voice 基准测试中在质量、速度和价格方面优于 GPT Realtime 2.1,并兼容 OpenAI Realtime API 以简化迁移。
Liquid AI 发布 d1.2 和 d1.2-ultra 决策模型版本,支持音频输入并新增读取数值、查找跨度、图像定位、数量估计和多项选择五个 API 任务。
腾讯混元发布全新实时语音模型 Hy Realtime,在语音理解、指令遵循与拟人化表达上升级,并新增 Agentic 工具调用与唱歌能力。该模型支持自然语言点歌与多轮上下文匹配歌曲演唱,已上线元宝语音通话和腾讯客服,近期将上线腾讯云提供 API 服务,当前版本可通过最新版元宝 App 或网页 Demo 体验。
推荐理由:原文给出了 Hy Realtime 新增唱歌与工具调用的具体能力,并明确其已上线元宝语音通话和腾讯客服,并即将上线腾讯云 API,为读者提供了直接体验与接入入口。
DeepL 发布语音 AI 模型 Aure,用于驱动实时语音翻译产品 DeepL Voice。Aure 可连续分析说话者的音调、情绪、语速和重音变化,并将这些表达特征带入目标语言的翻译语音中。
DeepL 推出旗下最具动态感的语音 AI 翻译模型 Aure,能够实时复现说话者的语气起伏、情绪流转及重音强调。该模型建立在声音保留技术之上,已支持 DeepL Voice 网页会议版、面对面交谈版及语音 API,首发覆盖英语、德语、法语等 8 种语言。
Antalia-2 Mini 是参数量 7,620,931 的土耳其语 TTS 模型,在 Apple M5 上以 41 倍实时速度生成 48 kHz 音频。 训练数据源自约 300 倍大模型 VoxCPM2,保留约 1,790 小时合成音频;微调码器后 WER 降至 1.75%。 模型权重、推理代码及评测基准已在 Apache-2.0 协议下开源。
日本人工智能实验室 Shizuku(雫)AI 公布支持日语智能对话的全双工模型 Shizuku-Duplex,宣称其为继 GPT-Live 后第二个支持该功能的模型。
初创公司 Underdog 发布了名为 Woof 的语音生成模型,其大小仅为 32MB,可在浏览器中离线运行。 Woof 模型拥有 3100 万参数,已开放下载。此前该公司还推出了 167MB 的语音转文字模型 Bark 和一个 270 亿参数的笔记本可用模型。
Hume 推出专为语音 AI 设计的决策模型,通过接收音频、问题和可能答案,返回每个答案的概率。 该模型在 10 项基准测试中平均得分 0.82,中位延迟为 0.23 秒,与人评一致率达 70.7%,高于单人评的 56.5%。 Hume 已处理 10 亿小时客户音频及 1000 万+ 人类判断数据,帮助团队将情感智能语音 AI 变得可量化。
Apriel Voice 27B Preview 是一款开源语音语言模型,基于 Gemma 4 26B-A4B 构建,能够直接处理语音并生成回复与工具调用。该模型在 thinking 模式下于 Big Bench Audio 得分 98.90,Speech-BFCL 得分 81.13,tau-Voice 任务成功率 65.51%,平均延迟为 1.91 秒。
Avartha 发布名为 Ava Zero 1 的开源权重语音模型,其在 Sierra 的 τ³-Voice 基准测试中以 86.0% 的任务完成率位居榜首,超越 OpenAI GPT Live 1、xAI Grok 及 Google Gemini。
推荐理由:原文通过对比任务完成率,展示该开源语音系统在实时场景下超越主流闭源闭环的能力。
Arc-Transcriber是一个约70MB的流式语音模型,能在100ms内完成ASR-NL单步处理,输出转录文本及名称、数字、说话人等元数据。该模型将传统的ASR、NER和实体链接链路压缩至共享编码器中,支持在流内实时校验用户提供的名单。目前提供Arc mini和Arc-v1两个版本,权重发布于Hugging Face,代码在GitHub开源,并在Mac端侧应用中用于语音搜索。
Granite Switch 4.1.1 作为补丁版本发布,与 4.1 完全向后兼容,无需迁移。 该版本更新了支持 10 种语言、自动添加标点的大小写的 Granite Speech ASR 模型,并优化了 granitelib-core 中 Decision adapter 在 Jev Decision Index 测试集上的表现,基础模型未做重算。
Nvidia 发布了开源权重的 Nemotron 3.5 Transcribe,这是一个30B参数、4B激活参数的混合专家模型,可在单卡GPU上运行。该模型支持40种语言转写、31种语言与英语互译、最多8人识别,并能根据文本指令输出转写、翻译或摘要。
英伟达发布开放权重语音转录模型 Nemotron 3.5 Transcribe,并同步公开 Granary v2 训练数据管线。模型采用约 340 亿总参数的 MoE 架构,激活参数约 43 亿,支持 40 种语言转录,可处理最长 1 小时录音,最多区分 8 名说话人,并支持说话人归属、翻译和音频问答。
同一新闻,精选展示《NVIDIA 开源 Nemotron 3.5 Transcribe 与 Granary v2,支持提示词驱动的多语言语音转录与微调》
Nvidia 发布开源语音识别模型 Nemotron 3.5 Transcribe,可处理 40 种语言的转录、31 种语言的英译/英返、13 种语言的说话人识别,最长支持 1 小时录音和 8 个说话人。
Nvidia 发布了免费开放权重的转录模型 Nemotron 3.5,能够转写 40 种语言的音频,处理长达 1 小时的录音,并区分多达 8 个说话者。该模型参数量为 30B,可部署在 Jetson AGX Thor、DGX Spark 或 Blackwell 数据中心芯片等单芯片上,但仅支持预录音频,不支持实时流处理。Nvidia 同时发布了开源语音数据集 Granary 2。
Jack Dorsey 旗下的 Block 团队推出了完全绕开文字中间层、直接从声音学习对话能力的语音模型 Dessa,该模型支持在 M4 Max MacBook Pro 本地运行并具备自然插话能力。
科大讯飞发布依托全国产算力训练的星火语音基座大模型SparkAudio 1.0。该模型支持文本、语音双模态输入,可完成语音转写、多方言识别及复杂音频问答等任务。基于该基座,讯飞孵化出Spark-ASR-2.0、Spark-LiveTranslation等专用任务大模型,已落地讯飞输入法、AI眼镜等软硬件产品。
腾讯混元发布并开源了低时延、高准确率的 Hy-SimulMT 同声传译大模型,支持中英语音实时互译及音色克隆,实测响应时间约 3 秒。在 RealSI 评测集上,该模型在最低延迟情况下实现了最佳翻译效果,超越了主流开源模型和大部分商用 API。
推荐理由:开源了低时延语音到语音实时翻译模型,实测效果超过主流商用API且达到人类同传专家水平。
腾讯混元同声传译大模型 Hy-SimulMT 发布并开源,支持中英文语音实时互译,实测响应时间 3 秒左右,优于人类专业译员 4-5 秒的平均水平。该模型具备实时音色克隆功能,支持中英语言间的音频输入与实时译文及语音生成。
同一新闻,精选展示《腾讯混元开源 Hy-SimulMT 同声传译大模型》
Jack Dorsey 旗下的 Block 推出全新全双工语音模型 Dessa,该模型支持在 M4 Max 及更高配置的 MacBook 本地运行。Dessa 原生内置情绪表达,能模拟笑声、停顿等人类特征,且无需依赖大语言模型调取知识。目前该模型暂不对外开放,正邀请安全研究者重点测试语音智能体欺骗人类的风险场景。
Block 发布本地运行全双工语音模型 Dessa,该模型完全基于人类语音训练,在单张 NVIDIA GPU 上可生成带情感的自然对话。
Block 公司发布名为 Dessa 的 AI 语音模型,该模型是首个完全基于人类语音数据、不使用任何文本数据从头训练的大模型。Dessa 直接处理音频而非先将音频转换为文本,使其能够实时捕捉情绪、讽刺、笑声和停顿,并支持全双工通信。
科大讯飞发布端云一体星火X2.6,实现全国产算力下的模型训练与推理,长上下文训练效率提升约4倍,推理效率提升4.5倍。同步发布星火语音基座大模型SparkAudio 1.0,整体效果提升20%,响应时间降低15%。推出讯飞星帆WinWork数字员工平台,支持80余类数字员工上线,Token消耗节约44%。
推荐理由:发布端云一体模型X2.6及SparkAudio 1.0,通过长程训练与动态并行技术,实现全国产算力下的高效推理与成本优化。
科大讯飞在全球 1024 开发者节上宣布首发星火语音基座大模型 SparkAudio 1.0。 该模型集成机器翻译、语音识别及语义理解能力,支持中英文任意切换与说话人实时识别,已全面上线讯飞输入法 16.0 等应用。 同时发布的讯飞 AI 录音环搭载 4+1 环麦阵列与 Wi-Fi 6,综合识别准确率超 96%,2 小时录音转写仅需 2 分钟。
IBM 发布三款语音模型更新:新模型 granite-speech-5.0-2b 支持多语言高精度 ASR、翻译及 2000 词关键词偏置,英文短文本 WER 为 5.06%。
推荐理由:IBM 发布并更新了 3 款开源语音模型,分别针对多语言高精转写、端侧极速推理与多说话人归属场景,给出了具体性能指标对比。
Qwen-Audio-3.1-Realtime 发布,实现“边听、边想、边说、边动”的全双工实时语音交互,支持并行工具调用与异步任务执行。在 Audio MultiChallenge 评测中达到 52.21% 通过率,在 Full-Duplex-Bench v1.5 中用户打断响应率 84.5%,表现优于 GPT-Realtime-2。
推荐理由:原文给出了全双工交互架构和多模态后训练方法,读者可以据此了解实时语音Agent的技术实现路径。
Ant 发布开源音频模型 Ming-3.0 Audio,采用 MIT 协议开源权重和代码。模型支持音频与文本混合输入,可生成书面或语音回复,并演示了分析财报电话会议、识别声音及讨论歌曲等场景。
Elevenlabs 于 10 月 20 日发布两款名为 Eleven Realtime 的语音模型。
蚂蚁百灵开源Ming-3.0系列五款语音模型,覆盖TTS、ASR与音频理解场景,权重已在Hugging Face和ModelScope开放。Ming-3.0-tts-0.5B通过自然语言指令控制表演细节,Ming-3.0-audio-flash实测可分析多人对话性格并定位背景音位置,ASR模型支持热词与上下文辅助识别。
同一新闻,精选展示《蚂蚁百灵开源 Ming-3.0 语音系列模型》
Mistral 发布 Voxtral 3 系列,包含语音转文本、文本转语音模型及基于 LiveKit 的语音智能体 SDK。语音转文本模型 Voxtral Small Transcribe 3 支持 50 多种语言,在 FLEURS 基准测试中表现优于 Whisper 和 Gemini 3.5 Transcribe。
推荐理由:Mistral 推出 Voxtral 3 语音智能体 SDK 及模型,覆盖 50 多种语言,读者可借此了解其实时流式对话与工具调用的整合方式。
蚂蚁百灵开源 Ming-3.0 语音系列模型,涵盖语音合成、音频理解与对话、语音识别三大方向,共包含五款模型。其中 Ming-3.0-tts-0.5B 在 Artificial Analysis 的 Pronunciation Robustness 测试中得分 93.2%,并列全榜单第一。
推荐理由:蚂蚁百灵开源 Ming-3.0 语音系列,提供语音合成、音频理解与识别能力,并公开了模型下载与 API 入口。
蚂蚁百灵开源 Ming-3.0 语音系列,包含 Ming-3.0-tts、Ming-3.0-audio 和 Ming-3.0-asr 共五款模型,分别覆盖语音合成、音频理解与识别。
同一新闻,精选展示《蚂蚁百灵开源 Ming-3.0 语音系列模型》