Google Gemini Live 推出 Guided Vision 功能
Google 在 Gemini Live 推出 Guided Vision 功能,通过手机摄像头提供实时语音描述,帮助视障用户阅读小字或识别物体。该功能在 Android 9 及以上设备可用,也集成在 Google TalkBack 中。
Google 在 Gemini Live 推出 Guided Vision 功能,通过手机摄像头提供实时语音描述,帮助视障用户阅读小字或识别物体。该功能在 Android 9 及以上设备可用,也集成在 Google TalkBack 中。
AI 音乐生成器 Suno 新增 Speech 功能,用户输入文本并描述风格后,模型将生成带匹配背景音乐的单轨语音音频。Suno 产品负责人 Jack Brody 表示该功能经过小范围测试,适用于诗歌、冥想等场景,但目前仍存在口音不准确等 Bug。Suno 未披露模型训练细节,而该平台正因版权侵权指控被主要唱片公司起诉,且慕尼黑法院近期驳回了其对使用受版权保护数据的合理使用抗辩。
通过前向过程 RL 实现联合音视频扩散的动态多奖励优化 论文: https://huggingface.co/papers/2609.37200
Google 回顾了 9 月的 AI 进展,核心亮点为新一代前沿模型 Gemini 4 Argon,该模型具备 100 万 token 输出限制,旨在强化网络安全防御等复杂场景,目前通过 Fairwind 计划向可信用户灰度测试。
Suno 推出 AI 语音生成功能,支持生成带背景音乐的旁白和有声内容。该功能目前已在网页和移动端平台公测,包含简易和高级模式,可自定义性别、语音风格,最长支持 8 分钟时长。
Microsoft AI 发布实时转录模型 MAI-Transcribe-2-Streaming 和两款文本转语音模型 MAI-Voice-2.1,其中转录模型在 100 毫秒内返回初步结果并支持 60 种语言。MAI-Voice-2.1-Flash 版本延迟 150 毫秒,每百万字符费用降至 15 美元,且两款语音模型仅需数秒音频即可克隆声音。
ElevenLabs 发布 Eleven v4 语音模型,它基于新架构能读取脚本的语气、节奏和上下文,更准确地执行方向标签,并让声音在长篇作品中保持一致性。
**summary_zh**: Audio8 ASR Infinite是一款采用原生流式架构的语音识别模型,实现每秒12.5次解码。其滚动KV Cache机制确保内存和延迟在24/7运行中保持恒定。用户可通过Hugging Chat的Gradio工作流体验该模型。
Hugging Face 推出 Open TTS Leaderboard,使用 WER、RTFx、TTFA 和 SIM 等客观指标评测开源及多语言 TTS 模型。目前支持 Seed TTS Eval 和 CV3 Eval 数据集,并提供语音克隆对比与流式性能测试,评测脚本将开源。
推荐理由:原文给出了 Open TTS Leaderboard 的客观评测维度和开源模型定位,读者可据此了解如何快速对比多语言 TTS 性能。
9 月 28 日,Qwen-Audio-3.1-TTS 在 Artificial Analysis 的 Controlled Voice Arena 中以 1177 的 Elo 评分位列全球第一。该模型支持多语种及方言合成,强调声音情绪和语速的自然表达。当前 Qwen-Audio 全线语音模型价格下调,最高降幅达 95%,API 服务已上架千问 AI 平台。
推荐理由:Qwen-Audio-3.1-TTS 登顶权威评测,且全线模型大幅降价,开发者能直接获取低成本的多语种语音 API。
面壁智能在 2026 中国—东盟博览会上展示端侧高效大模型与多语种语音底座 VoxCPM。 VoxCPM 基于 2B 参数高密度架构,支持 30 种语言与 9 种方言,具备声音克隆与 LoRA 微调能力。面壁智能提出“密度定律”,其端侧模型最小可在几十元芯片上运行,已成功交付老挝国家大模型。
NVIDIA 发布开放权重说话人分离模型 Nemotron-3-Diarization,基于 Sortformer 架构,单个检查点同时支持离线处理和流式运行,最多识别 8 位说话人,输出分辨率可配置为 10 ms 倍数且分块推理无最大时长限制。
Google 发布 Gemini 3.8 Flash TTS 和 Flash-Lite TTS,支持通过描述创建语音并逐行控制节奏与方言。Anthropic 披露 Claude 自主发现了一种与 CRISPR 相关的新型酶系统。Google 计划推出 Private AI Compute,利用云端加密和受保护 enclaves 实现 AI 记忆功能,确保 Google 无法读取用户数据。
Google 推出 Gemini 3.8 Flash TTS 和 Flash-Lite TTS 两款语音生成模型,即日起在 Gemini API、Google AI Studio 及多款产品上线。
推荐理由:Gemini 3.8 Flash TTS 在 Hume AI 基准中拿下第一,结合自然语言声音设计与多语支持,为音频生成提供了可落地的参考维度。
阿里云在 2026 云栖大会 DAY2 发布真武 V900 AI 芯片,性能是真武 M890 的 3 倍,预计 2027 年 Q1 量产;同场发布 Qwen-Audio-3.1 系列语音模型,全线价格最高下调 95%,API 已上架千问 AI 平台。
科大讯飞正式发布新一代语音识别大模型 Spark-ASR-2.0。该模型通过非自回归与 LLM 增强自回归协同等技术创新,整体推理成本仅相对 Spark-ASR-1.0 增加 10%,并在中英混合、方言及复杂声学场景的识别效果上实现大幅提升。Spark-ASR-2.0 将逐步上线讯飞输入法,并通过讯飞开放平台提供 API 服务。
Qwen-Audio-3.1 系列正式发布,包含 ASR、TTS、ASR-Next、TTS-Next 和 Realtime 五款模型,API 已上线千问 AI 平台,全线价格大幅下调,其中 TTS 降价约 70%,Realtime 降幅约 85%,ASR 降幅达 95%。
推荐理由:该发布通过覆盖语音识别、合成与创作的完整模型矩阵与显著降价,为实时交互和音频内容生产提供了新的工程基线。
千问发布 Qwen-Audio-3.1 系列,包含 ASR、TTS、Realtime 及 ASR-Next、TTS-Next 五款模型。全线 API 已上架千问 AI 平台,价格大幅下调,其中 TTS 降价约 70%,Realtime 降幅约 85%,ASR 降幅达 95%。
推荐理由:官方一次性给出五款模型的能力边界、价格降幅与接入地址,可据此评估语音工作流的落地成本。
阿里巴巴集团CEO吴泳铭在2026云栖大会演讲中提出机器思考总量未来将超过人类1000倍,并公布Qwen3.8-Max模型与真武V900 AI芯片。Qwen3.8-Max通过自主迭代完成33轮训练优化,在未知GPU上实现推理吞吐量提升96%;真武V900性能为前代3倍,支持扩展至50万卡的集群规模。
推荐理由:吴泳铭提出机器思考总量将达人类1000倍,并同步发布Qwen3.8-Max与真武V900芯片,展示阿里在模型、芯片及云侧的全栈布局。
千问正式发布基于 Interleave 架构的同声传译大模型 Qwen3.8-LiveTranslate,支持 60 种语言,新增实时说话人分离、双语同屏及长上下文消歧能力。模型字均延迟(LAAL)从上一代的 2.8 秒降至 2.3 秒,在相关多语言评测中翻译质量与语音合成效果领先于上一代及当前主流系统。模型 API 已上线千问 AI 平台,并提供在线尝鲜体验入口。
推荐理由:原文给出了 Interleave 架构和降低延迟的关键数据,读者可据此判断实时同传体验的实质变化。
阿里巴巴 Token Foundry Qwen Audio 团队在 EMNLP 2026 的 3 篇长文全部被主会或 Findings 接收。这三篇论文分别提出了 MosaicAudio、ConsensusBench 和 MNCE 技术。
科大讯飞在第23届中国—东盟博览会上展示了其在医疗、教育和多语言交互领域的AI产品。广西医保影像云平台已接入469家医疗机构,归集影像超1200万例,预计可降低患者约30%的检查费用。 讯飞星火智能批阅机M50支持分步批改,将每班作业批改时间从约1.5小时压缩至几分钟;讯飞AI眼镜支持面对面翻译,多语言会议系统覆盖东盟十国语言。这些能力均基于讯飞星火X2.5大模型底座。
阿里将于 2026 年 9 月 22 日至 24 日在杭州举办千问语音大模型分论坛,集中展示 Qwen-Audio-3.1 系列在语音识别、生成与实时交互的最新进展。
科大讯飞上线基于全国产算力训练的语音基座大模型 Spark-Audio-1.0-Preview,采用 0.65B 音频编码器搭配 30B-A3B 语言模型,支持 99 种语言和 202 种方言识别,并在高噪声等复杂场景下表现领先。体验链接为 https://iflytekresearch.iflytek.com/experience/spark-audio,API 后续将上线讯飞开放平台。
推荐理由:原文给出了全国产算力训练的首个语音基座模型参数和跨语言识别成绩,读者可据此评估其在复杂场景下的可用性。
Jev 作为 System One 模型发布,提供比 LLM 快两个数量级的结构化输出,且无模型幻觉,现提供早期访问。Periodic Neon 在低成本下超越 GPT-6 Astra 和 Claude Fable 5.1,用于科学分析。Google 推出 Gemini 3.8 Live 和 3.5 Transcribe,用于实时语音应用。
Google DeepMind 发布两款最先进实时对话模型 Gemini 3.8 Live 与 3.8 Live Extended Thinking,分别面向规模化高性价比场景和高复杂任务。
Google 宣布其语言技术已支持超过 300 种语言,并推出由 Gemini 3.5 驱动的实时对话翻译功能,覆盖 70 种语言和 2000+ 语言对,能自然捕捉语言切换和情感线索。
Qwen Audio Agent 通过六个实测场景展示座舱智能体能力,支持一句话完成多项操作及多地导航规划。该智能体允许后台任务与前台聊天并行,支持语音定制专属技能、记忆日常偏好以及切换风格与语言。
阶跃星辰正式发布 StepAudio 3 系列模型,包含 Realtime、ASR、TTS、Gen 和 Music 五款产品。Realtime 模型在 Artificial Analysis 榜单实现 98.9% 综合得分和 99.7% 语音推理准确率,ASR 模型词错误率达 1.7%,并上线阶跃开放平台支持多模态音频创作。
推荐理由:系列模型在实时交互、语音识别和音频生成的榜单成绩具体,展示了语音模型从转写理解向全链路创作演进的能力。
阿里语音AI推出基于 Qwen Audio Agent 的智能座舱示例,支持在后台持续执行任务时进行前台聊天及多途经点导航。评测显示,短上下文用例通过率达 97.67%,50 轮连续对话中逐轮工具行为准确率达 99.80%。
深圳耐思技术负责人大明哥团队基于 OpenBMB 的 VoxCPM 模型,自研 S2S、MDN、QUIC 三条全语音链路及“前端挂起式打断”机制,解决传统串行链路无法打断、延迟高的问题。团队利用 VoxCPM 完整版与 Nano 版分工,结合六库系统打造数字分身,在 9 个月内以平均三天一个 MVP 的节奏落地上百个应用,涵盖明星生日祝福、老人有声自传及 AI 采访助手等场景。
推荐理由:文章通过耐思团队案例,展示了基于 VoxCPM 构建全语音链路及前端挂起交互的落地路径,揭示了端侧语音应用从 Demo 到商业化的技术细节。
阿里语音 AI 团队在 ModelScope 开源 FLASepformer 与 JAEC 模型,分别实现高效语音分离和可解释回声消除。FLASepformer 采用 Gated Focused Linear Attention 将长序列注意力复杂度降至 O(N),在 30 秒混合音频设置下推理速度达 SepReformer 基线的 1.49 至 2.29 倍。
针对多人声干扰下的语音识别难点,文章对比了 Target-Speaker ASR 与前景说话人转录两种技术路线。前者依赖声纹注册锁定特定用户,后者基于距离、能量及交互上下文判断当前交互主体。尽管两者可共用包含重叠语音、混响及空间关系的数据底座,但必须严格区分任务语义与标签定义,避免将“能听清”误判为“应输出”,从而让模型学会在识别层面隐式选择交互主角。
阿里百炼发布 Qwen Audio 移动端 SDK,这是一款基于 C++ 核心、覆盖 Android、iOS 及 HarmonyOS 三端的语音 AI 开发套件。
腾讯混元正式发布新一代语音识别模型 Hy ASR 3.0 preview,基于 Hy3 大语言模型融合高精度识别与深度语义理解。在开源评测集中,中文普通话 WER 为 3.34%,英语 WER 为 2.62%,粤语 WER 为 3.12%;模型重点提升了通用识别准确性、上下文意图理解、专业场景热词注入及复杂声学环境稳定性。
推荐理由:原文给出了多语种WER数据和上下文纠错能力,读者可据此评估其在复杂场景下的语音识别表现。
Andrej Karpathy 提出使用长语音漫谈提升 LLM 交互效率的工作模式。 用户通过切换至 /voice 模式进行 10 分钟自由语音表达,LLM 能将混乱的意识流重组为清晰意图。该方法显著改善人机“心智融合”,后续交互中需人工修正的内容大幅减少。
小米发布并开源终端 AI 编程助手 MiMo Code V0.1.0,内置限时免费的多模态模型 MiMo-V2.5,并采用 MIT 协议开放。
推荐理由:原文给出了 MiMo Code 的专属 Harness、Compose 模式以及在相同模型下对比 Claude Code 的基准分数,可据此理解其协同优化思路。
ServiceNow 扩大了 OpenAI 前沿模型在 ServiceNow Platform 上的访问权限。这将驱动 AI 驱动的企业工作流、摘要、搜索和语音功能。
OpenAI 发布高级语音到语音模型 gpt-realtime 及 Realtime API 更新。新能力包括 MCP server 支持、图像输入以及 SIP 电话呼叫支持。
推荐理由:OpenAI 发布 gpt-realtime 模型,新增图像输入与 SIP 电话支持,扩展了实时语音交互的技术边界。
GPT-6 Astra 在 Retell 语音智能体基准测试中表现领先,助力公司实现每月 1 亿次通话量。同时 Codex 协助提升效率,使员工人均年收入运行率达到 160 万美元。