Qwen-Audio-3.1-Realtime 技术解读:事实性幻觉与多轮安全提升
Qwen-Audio-3.1-Realtime 在事实性与安全性上进行优化,HalluQA无幻觉通过率达71.33%,多轮攻击成功率显著降低。 中文多轮攻击成功率从80.50%降至26.00%,英文从63.50%降至23.50%。 模型采用GRPO进行攻防联合训练,动态探索安全失效边界。
Qwen-Audio-3.1-Realtime 在事实性与安全性上进行优化,HalluQA无幻觉通过率达71.33%,多轮攻击成功率显著降低。 中文多轮攻击成功率从80.50%降至26.00%,英文从63.50%降至23.50%。 模型采用GRPO进行攻防联合训练,动态探索安全失效边界。
初创公司 Underdog 发布了名为 Woof 的语音生成模型,其大小仅为 32MB,可在浏览器中离线运行。 Woof 模型拥有 3100 万参数,已开放下载。此前该公司还推出了 167MB 的语音转文字模型 Bark 和一个 270 亿参数的笔记本可用模型。
SpaceX 旗下 Grok Bot 为美国付费用户上线代打电话功能,智能体可等待人工、预约时间、协商账单,早期用户演示了与 Comcast 协商账单和点披萨。
Meta 向所有美国用户推出 Muse Voice,用户可与 Muse agent 实时语音对话,同时 agent 的 avatar 会随对话呈现细微表情和手势。
论文提出了名为 FastWave 的扩散模型,用于将音频信号超分辨率至 48 kHz 采样率。 该模型具有约 50 GFLOPs 的计算复杂度和 1.3M 参数,训练和推理速度显著快于现有的高参数扩散及流模型,且性能优于 NU-Wave 2。 代码已公开,该模型能以更少的资源进行训练,为音频超分辨率提供了高效的解决方案。
E-Gaborformer是一款严格因果语音识别编码器,在LibriSpeech上达到给定精度所需时间比此前更早,且性能匹配或超越相同前端的E-Branchformer。
Meta 个人 AI 助手 Muse 正式上线实时语音对话与虚拟形象功能,用户可通过电话图标直接交谈并随时打断。该功能基于 Muse Realtime Voice 和 Muse Realtime Avatar 模型,可流式输出 448×768、25 帧每秒的竖屏视频,响应延迟约 870 毫秒。
Meta 宣布面向美国用户正式开放 Muse 的 Muse Voice 功能,用户可与 Muse AI 数字人进行视频通话。该功能基于 Muse Realtime Avatar 和 Muse Realtime Voice 技术,支持用户自定义数字人形象(如默认形象 Jolly 或类似真人、动物的角色)。
Meta 宣布为 Muse AI 智能体增加语音模式,支持实时语音对话,该功能正在美国 iOS 应用上线。 对话时虚拟形象会随语音动态动画,用户可通过指令或设置调整语调;功能未来将扩展至 Meta AI 眼镜及 Muse Charm 设备。
GPT-Live 将对话前端与后端推理分离,虽提升了全双工交互自然度,但可能导致任务委派遗漏和前端无法微调。作者指出行业常以首音频时间衡量体验,忽略了首次实质性信息到达时间和任务验证完成的重要性,建议企业根据业务风险在可控性与对话流畅度间权衡架构选择。
音频解码器通过重构训练建立波形重建能力,生成模型可复用其预测表征完成音频合成。文中介绍了声码器、离散神经音频编解码器和连续音频自编码器的典型结构,并展示了基于 DiT 的级联声学生成、流式解码及针对预测表征的解码器微调方法,说明了如何在时延约束下实现高质量实时交互。
推荐理由:原文梳理了音频解码器从重构训练到生成复用的完整技术链路,并给出了流式解码与微调适配的具体设计思路。
一款基于 TypeScript 的私有 Telegram AI 助手开源,支持文本/语音对话、图像生成/编辑、Web 搜索、文档问答、项目管理及持久化后台任务,采用 MIT 协议。 默认使用 gpt-6.1-sol 作为聊天模型,gpt-image-2.5-sunburst 作为图像模型,需配置 Node.js 26.13+ 及 OpenAI API Key。
Gradium 于两周前推出并开源了小型端侧文本转语音模型 Phonon,该模型无需服务器与网络即可运行。目前 Phonon 提供约 65 MB 和 75 MB 两种尺寸,支持英、法、德、西、葡五种语言,并内置 100 多种预设音色。
推荐理由:展示了高性能TTS模型在端侧落地时的架构平衡策略,以及通过多语言支持与流式响应技术实现的质量跃升。
研究者提出VIPBench基准,包含来自1,290名听众对9,800个录音对的124,876个判断。 该基准评估说话人表示模型与人类身份感知的对齐度,发现最佳模型仅解释61%的可解释方差,且听众在41%的情况下将语音克隆误判为不同人。 这些结果支持基于听众判断直接训练说话人模型,以提升现实场景中的身份感知准确性。
CAST-Bench 发布针对多镜头音视频生成的基准测试,包含 900 个提示词和 18 项指标,旨在追踪每个生成声音是否源自正确源、同步及语义准确。 该基准测试了 12 个代表性生成器,发现视觉质量接近饱和,但音频语义分数差异显著;多镜头提示词在子集评分规则下得分较低,多人语音及跨镜头事件保持仍为主要挑战。
提出语音自监督学习框架 OLIVE,联合优化掩码潜在预测与波形重建目标。 单一编码器内通过功能分离,重建约束早期特征保留信号级信息,掩码预测塑造后期上下文表征。 加入波形混合与增益增强可灵活调整表征偏向,在保持识别和语义任务竞争力的同时,显著改善说话人识别、生成及重建任务表现。
Confucius4-R2T2 基于 Qwen3-ASR-1.7B 经 1500 小时中英文音频后训练,实现流式 ASR 输出永不修改前序 token,同时保持高精度与低延迟。 模型采用 Longest Stable Prefix(LSP)标签学习机制,无需架构改动即可将全上下文模型转化为稳定前缀流式模型,且泛化能力超出训练语言范围。 模型权重与代码已开源。
研究发现,18 个前沿模型在粤语-英语双语场景下的说话人嵌入跨语言泛化能力与人类行为高度一致,能准确区分身份并敏感反映语言切换。 模型泛化主要依赖共享声学线索及语言敏感性加权,这种机制与人类模式互为印证,为跨语言语音相似度处理中的“人机对齐”提供了收敛证据。 该研究已被 Interspeech 2026 接收,相关代码已在 Zenodo 发布。
OpenRing 是一款自托管语音 AI Agent 平台,支持 Vapi 兼容 API,用户无需支付平台费即可直接连接语音、模型和电话服务商。该平台基于 Pipecat 构建,支持 Whisper、Ollama 和 Kokoro 等本地免费组件实现零成本运行,并提供从 Vapi 导入账户的便捷功能。
Apple 在 iOS 27.3 和 watchOS 27.3 开发者测试版中推出 Siri Recaps,支持实时录音、转写并生成每日音频摘要。 新功能运行于 Apple Watch Series 12,音频处理与模型在设备端执行,且不识别说话人或存储原始录音文件。 测试显示 Siri Recaps 能自动记录维修时间等关键口头信息,但也会捕获家庭闲聊等非必要内容。
MosaicAudio 采用多教师在策略蒸馏,整合语义、同步、审美与空间四个维度反馈,推理时无需调用教师模型。 学生模型为 518M 参数,采用 25 步采样,单张 A800 生成 9 秒立体声音频仅需 0.6 秒。 该方法在 VGGSound 和 AudioCanvas 上取得领先的四维感知表现,并提升人工音视频一致性评分。
Astraea 项目通过重构心脏、呼吸及听觉等生理机制,解决了输出“语义洪泛”问题,实现了从静态噪声到类人语音的跨越。 语音重建基于身体状态涌现:平静时约 35 词/4 次呼吸,紧张时约 70 词;音高围绕 209 Hz 波动,渲染延迟仅 0.09 秒。 新增听觉系统支持标准听力测试,修复了梦境泄漏至清醒思维的缺陷,确立了因果编程原则。
一款免费在线音频增强工具支持 MP3、WAV 等格式,无需登录即可处理长短视频。 该工具包含 V1 Pro 和 V2 Alpha 两个模型,可执行降噪、均衡及填充词移除操作。 适用于播客、会议及移动端视频的语音清晰度优化场景。
《Arc Raiders》开发商 Embark Studios 表示,使用生成式 AI 配音旨在减轻因大量台词更新导致的配音演员工作量压力。 音频总监指出,若要求演员录制所有可能出现的台词版本(随新功能、道具增加),工作量不现实且会影响档期安排。 工作室正逐步用真人录音替换 AI 配音,承认 AI 声音可能破坏沉浸感,并非以取代演员为目标。
ElevenLabs CEO 表示公司可能在 2028 年开始为 IPO 做准备,称其为“良好目标”。 他同时强调 IPO 本身并非终点,而是发展旅程中的一步。公司正借助企业对 AI Agent 通讯需求的增长势头。 该时间表意味着 ElevenLabs 将保持私有状态,以应对由 Anthropic 主导的当前超级 AI IPO 浪潮。
研究提出含 12,013 条样本的三语语音幻觉检测基准,覆盖英、俄、哈新闻及三种合成篡改类型。 微调多语言编码器在文本到转录本的转换中性能下降与 ASR 错误率相关。 仅 Gemma-3n 在转录本上超过二元多数类基线,宏观 F1 分数优于其他四个零样本解码器。
提出免训练方法 ReListen,利用冻结音频语言模型通过 Jev 风格扫描定位小时级音频中的关键证据。 模型对 20 秒窗口进行评分,选出最高分的一分钟作为证据,在 VoiceGiraffe 数据集上 88.5% 的问题定位优于转录检索,准确率比全转录高 9.2 分。 该方法推理速度优于所有基于转录的系统,且显存占用恒定,无需额外训练即可处理超长音频。
ScrambleMark 提出了一种零查询、水印无关的黑盒攻击方法,通过扰乱谐波结构规避语音水印检测,无需获取干净语音或检测器访问权限。 该方法结合确定性引擎与生成模型,在 Google SynthID、Resemble AI 和 TrustedAudio 三个商业平台上实现近 97% 的规避率,人类音质评分达 4.2/5,且能抵御自适应恢复机制。
研究揭示了语音LLM在获取正确历史音频后仍因干扰出错的机制,在MOSS-Audio和MiMo-Audio模型上验证了错误被导向特定竞争答案。 因果干预实验发现,干扰通过早期状态和源角色/答案值信息的低维路径影响生成,单纯切断直接访问无法消除多轮对话中的错误。 这表明可靠的对话记忆需控制保留信息如何进入答案计算过程,而非仅依靠检索。
尼泊尔语 TTS 基准 NepTTS-Bench 发布,包含 205 个句子和 77 个最小对,由 180 名母语者评分,揭示自动评估与人类偏好的差异。 研究显示自动评估工具 SCOREQ 偏好 ElevenLabs,但母语者更青睐 Piper;伴随发布的 NepaliMOS 预测器在系统级达到 rho = 0.90,跨系统表现有限,并提供 Python 评估包供实践者使用。
OpenAI 消费者产品负责人 Adam Fry 透露,ChatGPT 每周活跃用户数量已达到 12 亿。过去 60 天内,周活跃用户从 10 亿增长至 12 亿,新增约 2 亿。Fry 表示,ChatGPT 当前处理的搜索类查询量约为 Google 的五分之一,每周生成图片达到 15 亿张,语音输入和语音对话功能的合计周活跃用户达到 2.5 亿。
推荐理由:原文给出了具体用户量增长数据和与Google的搜索量对比,读者可据此评估ChatGPT的市场渗透与功能结构。
苹果 Fitness+ 新增 Gym Strength 功能,根据用户目标、经验及可用器材生成 4 周渐进式力量训练计划。 该功能涵盖超 350 个动作,适配 30 多类器材,最低仅需哑铃;支持 iOS 27.3 或 iPadOS 27.3,搭配 watchOS 27.3 可在 Apple Watch 记录数据。
苹果推送 watchOS 27.3 首个开发者测试版,为 Apple Watch Series 12 和 Ultra 4 带来 Siri 回顾与 Live Rewind 功能。 两项功能需 Apple 智能支持,Siri 回顾通过环境聆听生成对话摘要,Live Rewind 显示最近 15 秒实时转录。 苹果强调隐私保护,原始音频由 S11 芯片处理后立即删除,且不保存录音或识别说话者。
Apple 在 watchOS 27.3 开发者 Beta 中推出 Audio Intelligence 功能,支持 Siri 实时处理 Apple Watch 麦克风音频。 新增 Siri Recap 生成对话摘要,Live Rewind 展示过去 15 秒文本;隐私架构声明原始音频由专用硬件处理且不存为文件。
苹果向 iPhone 推送 iOS 27.3 首个开发者预览版,国行 Apple 智能功能自 11 月 4 日起开放测试,计划 12 月随正式版向用户推出。首批功能包括实时翻译、写作工具、视觉智能、照片消除工具以及智能回复等。 Siri 新增文字交互并接入阿里千问大模型,支持用户通过千问账户或 Apple 登录来使用知识问答与内容创作功能。
UC Berkeley 和 UCSF 研究者与一位重度瘫痪女性合作,利用植入设备记录脑区信号并训练 AI 模型,使其在尝试说话时能生成类似她本人声音的语音。 该系统从检测到说话意图到输出首个语音仅需约1秒,此前方案需约8秒延迟;使用受伤前录音提升音色相似度。 这是针对单一受试者的实验性系统,旨在解码说话尝试而非读取任意思维。
Genie Studio 是一款浏览器端数字音频工作站(DAW),支持 AI 生成和编辑音轨。
Cartesia 利用 State Space Models (SSMs) 在 AWS 基础设施上提供亚 100ms 延迟的文本转语音与语音转文本服务,其旗舰模型 Sonic 首字节延迟约为 90ms,支持 44 种语言及 10 秒样本语音克隆。
阿里语音AI构建自进化语音 Agent 沙盒,支持语音模型在真实交互环境中试错并获取反馈。系统包含可执行环境、自动评分及多粒度 GRPO 奖励,覆盖打断、断音等声学劣化场景。该沙盒通过动态进化机制持续产生新任务与难度,提升模型在复杂通话中的鲁棒性与业务办结率。
Flow AI 发布统一创意工作室,整合视频、图像、音乐和语音生成工具。 用户可通过文本提示或参考图起步,选择四种格式进行创作,生成工作室级媒体文件供下载和编辑。