Siri 高效内存音频合成:基于解耦时序深度 Diffusion Transformer 的架构
Apple 为 Siri Expressive Voices 开发了基于解耦时序与深度处理的 detokenizer 架构。该架构利用单一可复用深度 decoder 和因果滑窗注意力,将内存复杂度降至恒定,峰值运行内存仅 21 MB,且生成速度比实时快 16 倍。
Apple 为 Siri Expressive Voices 开发了基于解耦时序与深度处理的 detokenizer 架构。该架构利用单一可复用深度 decoder 和因果滑窗注意力,将内存复杂度降至恒定,峰值运行内存仅 21 MB,且生成速度比实时快 16 倍。
InteractionBench 基准在统一录音下评估 7 个实时语音系统的 4 个维度,包含 13 个场景下每系统 221 项测试。 测试了 GPT-Live 等 7 个系统共 1,519 次,发现全双工系统的时序与任务准确性排名相关($\rho = 0.83$),级联系统任务得分最高(38/50)但时序偏低。
研究引入 SAC-Bench,包含来自 188 个声事件类别的 616,031 个独特片段,用于测试 Audio-Language 模型在语音断言与声学证据矛盾时的响应。
ufakzeka-kulak 是一个 31.6M 参数的开源土耳其语语音转文本模型,采用 FastConformer 编码器与 TDT 解码,基于 Apache-2.0 协议发布。
GigaSpeech 3 发布 39,000 小时多方言阿拉伯语弱标注语料,涵盖阿尔及利亚、埃及等五种方言,通过自监督学习与噪声学生策略生成标签。 该语料使方言特定模型在 GigaSpeechBench 上词错误率降至 23.86%,较第三方系统降低 16.6%,并在八个外部测试条件下表现最优。
现有零样本语音转换(VC)模型在阿拉伯语上泛化不足,EZ-Ar-VC 基于 EZ-VC 训练并实现高相似度保持下的有效匿名。模型在发音保持、自然度与说话人区分度上表现强劲。其鲁棒性支持语码转换与有限数据方言的跨方言语转换,凸显目标语言适配的必要性。
MedAstra 框架将 WavLM 语音表征映射至 E5 嵌入空间,实现无转录本密集检索,语音检索器 Recall@10 达 87.6,混合模式 90.4。 映射过程使用轻量适配器,检索配合实体替代与诊断对比支持生成。 明确区分合成与临床测试,指出需补充对比以评估泛化。
团队提出 GSLM2 模型,通过 SpidR 2.0 编码器生成多级别离散单元,实现生成式口语语言建模。 该模型采用多流架构联合建模,在 6M 小时数据和 6.5B 参数规模下,大幅缩小口语与文本 LLM 在 sWuggy、sBLIMP 和 tSC 基准上的差距。 研究已开源训练代码和模型检查点,旨在解决语音单位质量限制及单流表示瓶颈。
SpeechEQ 是一个评估语音语言模型(SLM)社会语言学推理的框架,包含基于 EQ-i 2.0 理论的 2265 段对话数据集及 15 个情商子量表。 该框架采用多轮评估协议计算口语情商(SEQ)分数。实验发现当前多模态模型受限于“模态捷径”、“安全陷阱”和“上下文遗忘”,且端到端架构优于级联系统。
针对全保真音频提出的基准测试发现,语言模型在8位和16位压缩上优于FLAC,但24位词汇量达16.7M导致直接方法不可行。 研究提出字节级分词方案Trilobyte,将词汇扩展复杂度从O(2^b)降至O(1),使24位无损压缩首次可行。 该工作发表于Interspeech 2026,填补了16/24位音频压缩基准空白。
summary_zh: VoxServe 提出了一种将 LLM 骨干与语音编解码器重叠运行在不同 GPU 分区上的 SpeechLM 服务架构。 该系统通过三条异步执行通道按数据块紧急程度调度,在 Qwen3-TTS 上实现 200ms TTFA 目标下请求速率提升 1.5 倍。
ViSSFlow 是一个基于 Flow-Matching 的统一框架,旨在同时解决 Video-to-Sound (V2S) 和 Visual Text-to-Speech (VisualTTS) 任务。
8个 Voice-Native LLM 在353项任务中表现稳健,对挫败语音无准确率影响。模型仅3.1%正确识别挫败语调,却73%-100%识别愤怒;线性探针在两个开源模型解码出挫败特征(准确率0.67-0.69)。研究表明模型能感知声音中的挫败,但未将其用于提升表现。
冻结 MiniCPM-o 4.5 语音模块,拟合逻辑失效读数实现全双工路由。内部基准下选择性转接提升准确率 27.1 点,较常开专家降低首响延迟 31.5%。无需额外全双工训练即可让模型在简单问题上即时回答,复杂问题上等待更强推理。
Orilo 发布了一款纯语音 Personal Agent,核心功能为 AI 晨间简报、长尾信息跟踪及跨应用任务闭环。其技术架构拆分为低延迟前端语音模型与后端高推理能力 Agent,解决实时对话卡顿问题,在 Full-Duplex-Bench 中被测用户打断后重新开口速度为 1.08 秒,快于 GPT Realtime 和 Gemini Live。产品目前仅支持英文交互。
推荐理由:作者基于两周实测,分析了Orilo如何通过语音优先和双层架构解决传统Agent交互延迟高、低频使用的痛点。
Subtitle Foundry 开发者将 ASR 转录、翻译和计时错误独立检查,以防止最终流畅字幕掩盖中间阶段错误。 该工具使用 ElevenLabs Scribe v2 原生词级时间戳处理完整录音,并通过源码级检查区分语音活动与具体词定位。 作者测试主要涵盖土耳其语和乌克兰语到英语翻译,项目采用 AGPL-3.0 协议开源。
AI Voice Translator 发布,支持同步语音与文本翻译,并将结果并行分发至任意数量的独立输出端。核心翻译模块不感知结果去向,翻译核心产生事件流,由隔离的输出模块负责投递,单个输出故障不影响其他输出。
Hume 推出专为语音 AI 设计的决策模型,通过接收音频、问题和可能答案,返回每个答案的概率。 该模型在 10 项基准测试中平均得分 0.82,中位延迟为 0.23 秒,与人评一致率达 70.7%,高于单人评的 56.5%。 Hume 已处理 10 亿小时客户音频及 1000 万+ 人类判断数据,帮助团队将情感智能语音 AI 变得可量化。
该功能预计将于明年上线,用户每月需额外支付最高 5 美元以使用 AI 混音服务。
Retake 上线了一款 AI 视频重拍工具,支持将 MP4、MOV 或 WebM 格式的视频转录为类似文档的可编辑文本。用户通过删除或改写台词,工具会自动剪辑对应的视频片段,并在重新生成语音时同步调整唇形以匹配口型。
推荐理由:Retake 将视频转录为可编辑文档,改写台词后自动同步唇形,展示了一种降低重拍视频门槛的新交互方式。
2026 款梅赛德斯-奔驰长轴距 E 级今日上市,售价区间为 42.38-50.98 万元,涵盖晖银、鎏金及星铂三个版本。 该车率先搭载由奔驰中国研发团队主导开发的全新 AI 智能座舱,融合豆包 AI 大模型构建虚拟助手,支持季度 OTA 升级。座舱配备 14.4 英寸中控屏与数字孪生 3D 车模,全系标配华为 HiCar。 此新座舱未来将陆续搭载于更多燃油及纯电车型。
Entravision 的 AI 合播主持人 Coyotec 扩展至七个市场,引发广播行业关于劳工标准与编辑责任的讨论。Coyotec 基于 ElevenLabs 技术克隆声音,虽需人工上传话题且单次对话限 10 分钟,但 Entravision 称其显著提升了广告效益并实现了跨市场复制。
模思智能发布全双工实时交互系统 MOSS-Live,支持在说话的同时持续倾听,并能通过工具调用处理后台任务。
推荐理由:模思智能发布全双工系统MOSS-Live,其在停顿抢话率和无关语音误接话率等指标上显著领先竞品,为实时语音智能体开发提供了可迁移的架构参考。
2026款奔驰E 300 L上市,建议零售价42.38万至50.98万元,起售价下调1.6万元。 新车搭载由奔驰中国研发团队主导、融合豆包 AI 大模型的全新一代 AI 智能座舱,支持季度 OTA 升级。 座舱唤醒速度快至 0.25 秒,声纹识别支持 6 位用户,高德导航移动帧率达 60 帧。
TextPro-SLM 通过结合 WhisperPro 和 LLM 骨干,在 3B 和 7B 规模下实现了领先的模态差距最小化。 该系统仅需约 1,000 小时 LLM 训练音频即可在副语言理解任务中保持强劲性能,代码已公开,论文被 NeurIPS 2026 接收。
Apriel Voice 27B Preview 是一款开源语音语言模型,基于 Gemma 4 26B-A4B 构建,能够直接处理语音并生成回复与工具调用。该模型在 thinking 模式下于 Big Bench Audio 得分 98.90,Speech-BFCL 得分 81.13,tau-Voice 任务成功率 65.51%,平均延迟为 1.91 秒。
首个无同步通用对抗前缀攻击GhostPrefix可实时操控ASR输出。 在13个开源ASR模型上,提示引导与目标劫持模式平均成功率达97.6%和93.4%。 该攻击导致语音助手等下游AI管道出现系统性语义误读。
研究团队发布 TamilEOT,这是针对南亚语言的第一个开放语义回合结束检测数据集及检测器,包含来自 116 段电话对话的 18,485 个标注边界。 模型基于 Smart Turn v3 架构,在 4,168 个留出片段上准确率从 70.30% 提升至 86.13%,单线程运行低于 150 ms。 所有数据、权重、代码及阴性结果均已公开。
Speech-DRAME 提出语音角色扮演评估框架,包含双语人工标注基准 Speech-DRAME-EvalBench 及微调评估器 DRAME-Eval。 基准支持原型评估与现实感评估,在合成数据上 DRAME-Eval 的皮尔逊相关系数分别达 0.629 和 0.602,显著优于零样本评测。 在真实语音测试中相关系数仅为 -0.142,揭示合成到真实数据存在显著迁移差距。
研究通过两成分高斯混合模型构建无阈值不一致分数,发现不一致性在eNTERFACE'05等三个语料库中均提高了音频模型的情绪识别错误率。 文本通道的单独影响不可靠;移除情绪词典后的重建分数仍是六个替代方案中唯一能预测全部语料库错误的无标签分数。 开源了支持该评估的代码、数据表和提示词。
Avartha 发布名为 Ava Zero 1 的开源权重语音模型,其在 Sierra 的 τ³-Voice 基准测试中以 86.0% 的任务完成率位居榜首,超越 OpenAI GPT Live 1、xAI Grok 及 Google Gemini。
推荐理由:原文通过对比任务完成率,展示该开源语音系统在实时场景下超越主流闭源闭环的能力。
阿里旗下千问 AI 眼镜今日迎来 OTA 升级,新增通话翻译与媒体翻译功能。 通话翻译支持跨国实时交流,媒体翻译可同步显示海外播客、外语影视的译文。 升级还优化了嘈杂环境下的语音识别,提升同声传译的准确性与及时性。
summary_zh: Spotify 计划于 2027 年 Q1 推出 AI 混音服务,允许付费订阅用户重新编排已授权歌曲,如民谣改舞曲或 AI 翻唱。计划每月额外收取 4 至 5 美元服务费,混音版税将全额反哺原作音乐人。
ContextuAI 发布开源项目 Hey Spark,支持在本地笔记本上运行实时语音助手。其唤醒词、语音识别和合成全在本地 CPU 完成,后台“大脑”可自由接入 Claude、OpenAI 或本地模型。助手通过 MCP 协议连接 GitHub、邮件等工具,对变更类操作强制需语音确认,并支持 macOS 和 Windows 桌面端。
Uncracked City 是一款在真实城市中调查的侦探游戏,玩家讯问由 LLM 驱动的嫌疑人,这些嫌疑人会撒谎。 游戏支持 6 种语言提问,通过 5 个城市训练关卡学习技巧,随后挑战无人破解的真实案件。数据无需账号,可完全本地擦除。
荣耀首席影像工程师罗巍透露,团队将基于LogC曲线与阿莱Film Lab开发全新的拍照模式,模拟35mm胶片感光及冲印过程;同时荣耀Robot Phone 2代正在研发,并计划推出与阿莱合作的两款创新形态产品。背景上,荣耀Robot Phone 1代及Magic 9系列已率先落地阿莱影视色彩技术,支持ARRI LogC编码。
由香港生成式人工智能研发中心(HKGAI)研发的“港话通”(HKChat)推出 AI 音乐生成功能,接入其自研 YuE2 音乐大模型。用户通过哼唱、上传图片并输入构思,可即时生成兼具专业编曲和人声演唱的原创粤语歌曲。该功能已在 App 上线,目前向所有用户免费开放,旨在结合 AI 技术与香港流行文化。
苹果公司宣布面向中国 iPhone 18 Pro 等机型用户于 11 月 4 日开放测试,并于 12 月随 iOS 27.3 在国内上线首批 Apple 智能核心功能,包括整合进信息、FaceTime 通话和电话 app 的实时翻译。
同一新闻,精选展示《阿里巴巴与Apple达成合作,将千问集成至Apple智能》
Nemotron语音智能体将ASR、Bolt E4B、Magpie TTS和Audio2Face-3D整合在单工作站中,实现端侧语音角色交互。
Dodaios 是一款开源的桌面智能体操作系统,支持在 Windows、macOS 和 Linux 上本地运行编码代理、浏览器应用,并通过语音或聊天进行控制。其核心 Agentic IDE 允许多个编码工具在独立终端面板中并行工作,用户可通过语音指令分配任务,且所有涉及系统变更的操作均需用户审批。
推荐理由:提供了一个本地优先的智能体运行环境,允许通过语音调度多个编码代理并行工作,并包含详细的安全审批机制。