通过匹配内部文本预测将文本大模型蒸馏到语音对语音大模型
研究提出了一种语音对语音预训练方法,通过创建内部文本接口将文本大模型的知识蒸馏到仅具备语音输入输出的模型中,实现了从文本基础模型向语音模型的知识迁移。 模型在匹配训练条件下,显著提升了语音续写的生成困惑度,接近外部语音识别提示的内部独白模型表现;蒸馏过程有效提升了模型在文本和语音评估下的事实性能,更好地保留了基础文本语言模型的知识。
研究提出了一种语音对语音预训练方法,通过创建内部文本接口将文本大模型的知识蒸馏到仅具备语音输入输出的模型中,实现了从文本基础模型向语音模型的知识迁移。 模型在匹配训练条件下,显著提升了语音续写的生成困惑度,接近外部语音识别提示的内部独白模型表现;蒸馏过程有效提升了模型在文本和语音评估下的事实性能,更好地保留了基础文本语言模型的知识。
该论文提出了名为Nufo的埃维语ASR基准,其语料库总时长达174小时。 在评测中,Whisper-medium模型的词错率(WER)为37.98%,AfriHuBERT模型为39.70%。 此基准及模型将公开发布,以推进埃维语等低资源语言的ASR研究。
D2 框架通过解码器无关的表示蒸馏和监督微调,将 Qwen3-Omni 等半双工模型转换为具备高通用能力的全双工语音模型。 在 12.5Hz 更新率下,Qwen3-Omni-D2 实现 99.2% 的接话成功率、521ms 延迟及 70.1 的 SOTA VoiceBench 分数。 该框架系统性研究了块大小对交互与计算的影响,支持在高时间粒度下兼顾通用能力与实时性。
研究证实,九个深度语音模型(含 HuBERT)的单词时序信息均映射为低维“时间子空间”中的近圆形轨迹。 方法 RoSeg 在 Librispeech 上检测到单词边界时实现 64.3% 的 boundary F-score,显示 HuBERT 具备强隐式单词知识。 该成果表明圆形时序结构是深度语音表征的普遍属性,深化了对模型如何编码单词时长信息的理解。
AegisVox 提出分解框架,通过分配代理语音并编辑标识符回合以保护临床语音隐私。 在 390 段共 63.6 小时的模拟对话中,TTS 渲染实现了 535/601 的计划替换,优于基于编解码器的语音编辑器(453/601)。 该框架支持针对替换实现与临床保留、说话人关联之间权衡的特定用途评估,但不保证移除标识符或确保临床安全。
提出一种oracle引导的微调方法,将N-best假说列表转化为监督信号,训练大语言模型在语音识别后编辑中选择或重写,通常能降低WER且无需重新训练识别器。 该方法构建三个监督池:corrections池(参考在列表中但非top-1)教模型学会选择,regularizers池(top-1正确)抑制不必要重写,hard negatives池(参考缺失)防止幻觉。
连续比特流扩散模型 CoBit 为图像-文本、语音-文本及蛋白质序列-结构生成提供了统一框架。模型无需预训练文本,仅用单检查点支持条件生成,生成语音与文本的 Word Error Rate 为 3.5%。
ASSET 提出基于强化学习的语音分片框架,将声学编码器输出压缩为连续音频 token,在 LibriSpeech 上以更少 token 接近字符边界基准性能。 框架使用 GRPO 训练分片器,结合任务表现反馈与 token 率惩罚,Mandarin AISHELL 上优于音素边界基准。 实验表明该框架可适应非 ASR 任务,自适应改变分片策略。
苹果官网代码暗示全尺寸 HomePod 未来将支持 Siri AI。 官网图片描述提及“顶部亮起表示 Siri AI 功能的多色光晕”;HomePod mini 2 也将搭载 Siri AI,但需在未来软件更新中启用。 涉及 Siri AI 处理个人请求时,HomePod mini 2 需与 Apple Intelligence 设备配对。
CoreXTrader 是一款跨平台专业交易平台,集成 TDSL 交易领域特定语言与 AI 辅助策略开发。 平台基于 Rust 核心构建,支持 Binary FIX/SBE 协议的低延迟执行,WebGL 图表可处理 10+ 多图表及 100+ 指标,并提供 15 种语言支持。 为企业用户提供白标终端方案,支持公共/私有工作区协作及实时账户遥测同步。
iRTE 2026 对话式 AI 技术专场将于 10 月 23 日探讨实时交互模型,聚焦 OpenAI 与 Thinking Machines 关注的 AI 实时互动能力。 嘉宾包括谢磊、吴渤等,涵盖音频智能、多模态交互及 Voice Agent 落地等主题。 门票限时免费,活动在北京举行。
苹果发布 HomePod mini 2,国行原价 999 元被悄然上调至 1099 元。 产品采用全频驱动单元与双无源辐射器,支持 Wi-Fi 6E 连接、声音识别及温湿度传感。 提供五种配色,附带 20W 适配器,海外版支持 Siri AI 功能。
开发者发布跨平台桌面 AI 助手 Elissa,通过语音或快捷键唤醒后可读取文件、操作邮件、执行代码并调用 MCP 服务。该工具兼容 Windows、macOS 和 Linux,支持接入 OpenAI、Claude、Gemini 等模型或本地运行。核心操作需通过用户点击卡片明确批准才能执行,内置防误删机制并支持离线隐私模式,无需注册账号或上传数据至外部服务器。
推荐理由:该桌面助手将语音交互、文件与代码编辑、邮件发送等日常操作整合到统一审批流程中,展示了端侧智能体处理多源任务的新思路。
投机工具调用允许语音智能体在用户说话尚未结束时,基于部分转写预测并提前执行只读工具请求,命中即可复用缓存结果,从而消除工具调用造成的数百毫秒至数秒级延迟。该方法是无损的,最终决策仍由LLM做出,错误预测仅增加计算开销而不影响正确性。作者建议首先将工具标记为安全/幂等/不安全,从最慢且安全的只读接口开始试点,并针对第三方API严格遵循授权与隐私边界,避免推测性调用泄露用户意图。
推荐理由:文章给出了投机工具调用的完整落地流程、安全性分类准则及实测优化思路,可直接用于降低语音智能体延迟。
千问 AI 耳夹式耳机已在京东开售,主打 Bose 大师调音,到手价 1099 元。 该耳机支持 AI 笔记、AI 同声传译,具备 IP55 防护,单次续航 9 小时,配合充电仓总续航 40 小时。 它采用 0.5mm 记忆钛丝设计,支持 89 种语言 AI 翻译及 92 语种转写纪要,并获 Hi-Res Wireless 认证。
Ringee 发布开源电话基础设施,为人类团队和 AI 语音智能体提供统一通话平台,支持浏览器、Chrome 扩展及移动端操作,可通过 MCP 客户端或 CLI 接入。
安克与飞书联合推出的安克 AI 会议耳机飞书版正式开售,首发价 1799 元,首发补贴价 1376.23 元。 该耳机支持线上线下全场景录音,集成飞书 AI 生态可实现 AI 纪要整理、实时翻译及豆包问答,配备 8 麦克风 + 2 骨传导阵列与 1.78 英寸触控屏。
上海大模型公司模思智能宣布完成超10亿元Pre-A轮融资,由华控基金领投,资金主要用于全模态实时交互智能研发及全球商业化落地。该公司今年已发布20多个开源模型,即将推出旨在处理实时多模态输入的MOSS Live系统,面向AI眼镜、智能汽车及机器人场景。
提出 EAVA 方法,通过在语音编码器各层插入轻量适配器并单独训练,解决目标领域数据有限时语音大模型(Speech-LLM)领域适应性不足的问题。 实验显示,EAVA 在涵盖儿童语音和方言语音的 3 个领域偏移自动语音识别(ASR)数据集上,性能持续优于常规微调及其他基线模型。
该研究提出多阶段训练策略以优化LLM-based ASR的熵分配,提升参数效率与幻觉鲁棒性。 实验表明,该方法仅使用2.3B参数即可在普通话和英语基准测试中达到与SOTA模型相当的竞争力。
研究引入基准DEAF,包含2,700多个冲突样本,用于诊断音频多模态大语言模型是否真正处理声学信号。 该基准覆盖情感韵律、背景声音和说话人身份三个声学维度。 评估七款Audio MLLMs发现,尽管模型对声学变化敏感,但其预测主要受文本输入驱动,显示出标准语音基准高分与真实声学理解之间存在差距。
M3-DuplexBench 提出了一种针对全双工口语对话系统(FDSDS)的多轮、多语言、多领域评估基准。 该基准在英语和日语的休闲对话及多轮问答场景中,联合评估交互时序与响应内容,并支持跨语言对比。 实验结果显示了不同 FDSDS 模型在交互模式、语言及领域上的差异,该基准已公开可用。
OpenPA提出基于Whisper交叉注意力机制的新框架,无需强制对齐即可联合预测词级和语句级发音分数,并在单一模型内支持闭卷和开卷场景。 模型仅使用speechocean762训练,在域内闭卷和模拟开卷条件下取得最强整体性能,零样本泛化至MultiPA,并在口腔癌语音任务上展现跨任务潜力。 框架已被提交至ICASSP 2027。
Oído 在 ESP32-S3 微控制器上运行 13M 参数 Conformer-CTC 模型,实现开放词汇英语语音识别。 LibriSpeech 测试集中 WER 为 3.70%/8.23%,比同芯片厂商识别器错误少 2.3-2.8 倍;单核运行速度为音频时长的 1.97 倍,代码与模型已开源。
研究提出四种探针以测试音频、文本提示及指令措辞对开源音频-语言模型评判生成的音乐评分的影响。 在 MusicEval 的 2748 个音频片段及 SongEval 数据上测试发现,无音频时评判器评分未超提示词预测,且存在位置偏见。 建议每次评估音乐评判器时均报告这四种探针。
该研究在低资源 ASR 场景中对比了 SpecAugment 和基于文本的数据增强方法,发现二者在音素级错误上具有互补性。 SpecAugment 会增加声调和腭化错误,而文本法引入辅音插入;组合使用时,基于文本的方法使低频音素频率提升 37%-38%,抵消了对方的错误。 这种超加性效应仅在 100 小时数据以下的低资源阶段显著存在,建议通过训练暴露度和声学特性来预筛选增强策略。
研究提出基准测试 BASIS-Bench,评估 8 个语音大模型在个性化与刻板印象间的表现。结果显示,模型虽能识别人口统计线索,却大多无法将其转化为适当的个性化回应。 测试发现,显性的人口统计标签虽能提升个性化效果,但会放大文本骨干中固有的刻板关联。该研究指出,需训练模型学习何时应用人口统计线索,而非仅识别它们。
研究在 176 段无脚本对话的 427 个停顿和 482 个回合结束点处测试 6 个实时语音系统。宿主 API(如 GPT Realtime、Gemini 3.1 Flash Live)在几乎每个停顿处响应,延迟约为 1 至 4 秒(基于静默)或 8 秒(语义检测)。
该方法通过对抗训练实现了语音强度的连续控制,无需依赖参考语音。 基于条件循环一致性 GAN 架构,在 WavLM 表征下转换器实现了 83% 的目标强度变化。 研究已提交至 IEEE ICASSP 2027,并开放了相关代码。
研究指出 LLM 音色界面中用户的实际因果效力与系统报告位置可分离,后者存在误差。 实际可达空间是 zonotope,显示位置偏差约为该区域宽度的 3 倍,误差源于模型预测和插值步骤。 36 条指令中 26 条无感知变化,模型失效时系统仍报告收敛,静默失败是主要风险。
针对零样本TTS模型量化后音色受损问题,研究团队提出TTS-Q方法,在1B和3.5B模型上实现无损理解力的音色恢复。该方法通过混合精度调度,为扩散Transformer后期的前馈激活层分配更高精度,以抵消权重和激活量化带来的音色漂移。该技术显著降低GPU峰值内存占用,为资源受限场景下的实时TTS部署提供实用参考。
研究提出 CircuitTree 数据结构与贪心密度缩放组合算法,将 HuBERT 剪枝出的 39 个音素电路组合为音节分类器。 该模型通过层级化电路流水线转写开音节,准确率达 64.8%,接近 66.0% 的天花板,且 99.5% 组件被共享,证明电路组合可实现单一电路不具备的能力。
Easy Fox 披露其模拟驾驶教学游戏演示版因玩家激增导致运营成本飙升,每日 AI 服务费超过 $1,000,迫使工作室申请银行贷款以维持服务。 演示版玩家数量在过去一个月增长超过20倍,当前并发用户数达 450 人;游戏当前使用 OpenAI 模型,正式版计划切换至 Gemini,并正在探索本地 AI 方案以降低成本。
Mira 是一款 AI 音频导览工具,允许用户通过街景视图访问全球各地,并伴随语音讲述周围故事。 旧金山和巴黎对所有人免费开放无需注册,其他城市需登录且赠送 30 分钟免费时长,支持创建自定义导览。
语音 AI 领域虽获巨额投资,但 PolyAI CTO Shawn Wen 指出其尚未达到“ChatGPT 时刻”。关键挑战在于实现快速推理及准确捕捉说话人意图,避免用户因转录错误或机器音而丧失信任。
Apple 披露与个性化音频初创公司 Huxe 达成反向收购协议,向其员工发出就业要约并获得 Huxe 知识产权的非独家授权。 Huxe 创始人曾开发 NotebookLM 的 AI 播客功能,其关闭前一日 Spotify 也推出了同类 AI 播客生成功能。 Apple 此举可能意在为其 Podcasts 应用添加类似的个性化音频生成功能。
AI Cords 推出了一款可隐藏在眼镜绳中的 AI 录音设备,位于耳部高度,免去夹式麦克风的佩戴和充电麻烦。该设备通过多麦克风阵列实现降噪,并支持将转写结果通过 MCP 或 CLI 接入外部 AI 智能体。
Chick-fil-A 首席执行官明确表示不会用 AI 替代人工点餐员,坚持“human plus”策略;McDonald's 正在测试 AI 语音点餐功能。 两家公司在 AI 应用上的分歧,揭示了餐饮企业在将客户互动交由 AI 处理方面的不同边界。
安卓版谷歌翻译应用代码中发现新增 Smart assist 功能,可在翻译前整理语音输入,去除填充词和反复修正的表达。 该功能目前仅计划在对话模式下可用,用户需在翻译设置中选择逐字翻译或 Smart assist 两种模式之一。 此举旨在优化语音识别与翻译流程,提升实时对话互译的准确性与流畅度。
苹果与 AI 音频初创公司 Huxe 达成人才引进与技术许可协议,这是 2026 年公开披露的第 4 笔苹果 AI 相关交易。 苹果获得 Huxe 知识产权非独占许可及特定员工聘用权,该安排属于“收购式招聘”,并未收购 Huxe 业务。 Huxe 由 3 名前 Google NotebookLM 团队成员创立,应用已根据用户邮件和日历生成每日音频简报,该服务于 2026 年 5 月关闭。