SraVaani 模型针对尼泊尔语-英语代码混杂语音识别的数据准备与适配
研究通过 172.8 小时语料库适配 449M 参数的 SraVaani 混合 TDT-CTC 模型以处理尼泊尔语与英语混杂场景。 微调使测试集 WER 从 48.6% 降至 17.1%,12 轮训练进一步降至 16.3%,优于微调后的 Whisper large-v3-turbo;冻结编码器会导致 WER 回升至 25.5%。
研究通过 172.8 小时语料库适配 449M 参数的 SraVaani 混合 TDT-CTC 模型以处理尼泊尔语与英语混杂场景。 微调使测试集 WER 从 48.6% 降至 17.1%,12 轮训练进一步降至 16.3%,优于微调后的 Whisper large-v3-turbo;冻结编码器会导致 WER 回升至 25.5%。
GigaEdge Spench 发布了一个支持 CPU 服务器、移动端及浏览器的开源流式语音增强 SDK,提供 8 kHz INT8 降噪模型及 48 kHz FP32 模型。 该 SDK 通过 C++ 核心支持 ONNX Runtime 和 TensorFlow Lite,在 EARS-WHAM v2 基准测试中,所有原生和 Web 配置均能以超实时速度处理文件。
微软一项新专利展示了实时修改直播内容中语音和口型的技术方案。该系统分析声音与视频,利用生成式AI替换特定词句并重塑嘴部动作,可实现双语翻译、过滤粗口及生成定制化摘要片段。
创作者手工拼合 MiniMax H3 音频与 Nano Banana 2 视觉素材,制作了《攻壳机动队》风格的恶搞短片。 音频由 MiniMax H3 生成,视觉使用 Nano Banana 2 匹配复古赛璐珞线条,最后在 DaVinci Resolve 中手动剪辑合成。
ThunderPhone v3 推出 Zeus,一个面向语音 AI 的 fully agentic harness,可自动构建、测试和调优电话语音 agent。
summary_zh: Mitra 上线 MCP 连接器,使 AI 智能体(Agent)能通过用户的电话号码发起和接听语音通话。 该功能支持 ChatGPT、Claude 和 Grok 等工具,通过自定义 MCP 服务器 URL 连接。
Akropolys 推出名为 Kiku 的服务,允许网站免费集成实时语音、聊天及主动个性化智能体。 支持通过批量或单条记录方式连接数据源,所有计划均支持单条摄入,高级计划支持批量摄入。 提供 npx skills add --skill akropolys-integration 命令,将集成技能赋予编程智能体。
Spotify 宣布 AI DJ 功能更新,新增 7 种英语和 2 种西班牙语音色,提供个性化性格选择,并允许用户减少歌曲间的解说干扰。 更新覆盖 95 个市场,现有 94M Premium 听众使用 AI DJ;新音色取代原有的“Livi”角色。 该功能旨在满足用户在聚会等场景下仅需背景音乐、无需语音交互的需求。
VoxaDub 发布 v0.1.0,支持本地优先的 AI 视频配音,实现说话人感知的语音克隆和时长对齐。该工具使用 Hy-MT2 翻译和 VoxCPM2 语音合成,并支持通过 Colab 或 Modal 调用 GPU 资源,以及实验性的 Live 直播同步配音。
Otter.ai 新增 27 种语言支持,使总语言数达 31 种,并推出多语言模式。 该模式可自动检测会议中说话人语言切换,如从英语到韩语再到葡萄牙语,无需调整设置。 此举主要支持全球团队在混合使用多种语言的会议中实时记录需求。
提出即插即用框架 Stochastic Interpolant Prior for Speech (SIPS),通过分解采样动力学中的预测器诱导漂移和基于分数的去噪分量,增强预训练预测器。
研究提出TWNM框架,通过FOA模拟和空间特征融合提升音频语言模型的空间理解能力。 在自建基准测试中,TWNM整体准确率达70.8%,空间任务66.4%,混合场景QA 79.76%。 该方法实现了可控且可审计的空间音频语言推理,并在NeurIPS 2026发表。
协作错误驱动的个人化系统 EvolveCaptions 通过将听障者的朗读误差反馈给健全伙伴进行修正,并据此记录短句数据,从而增量微调模型,实现针对特定说话者的自动语音识别(ASR)适配。
BARS 是发布在 ISMIR 2026 的非自回归说唱语音生成模型,它基于 Flow Matching 并获得了最佳论文奖提名。 模型通过 ByT5 编码器处理歌词,并提出非对称缩放 RoPE 以解决强节拍条件下的对齐不稳定问题。 该模型支持零样本音色控制,并可通过 Span Masking 实现词级编辑,实现灵活且节奏连贯的生成效果。
MUTE 是一个语音保护框架,通过干扰跨模态注意力与音频嵌入,解耦数字人模型中的音视频对齐。 扰动限制在短时傅里叶变换高能区域以抗后处理攻击,并可选加入说话人级目标防止 TTS 重合成绕过。 实验表明该方法能在保持感知音质的同时,持续降低白盒与黑盒模型的唇音同步精度。
WaveGen 提出了一种基于频谱强制(Spectral Forcing)的全端到端文本转波形扩散框架,该模型联合学习内部频谱与目标波形轨迹,直接生成端到端音频。
生成式语音模型削弱了移动语音交互的生物特征认证安全性。 MoBiMark 提出一种实时移动端生物语音水印系统,通过超声波探测结合动态水印,实现实时说话人身份认证与篡改检测。 在四款智能手机 50 名用户测试中,系统平均准确率达 99.79%,且对语音质量影响可忽略。
summary_zh: TTS系统使用2-4步Euler求解器时,说话人相似度(SIM)下降1-6分,主要源于纯噪声处Classifier-Free Guidance的影响。
Joi-Bench-Task 是一个评估全双工语音智能体任务协调能力的基准,重点考察执行、完成、沟通及剩余汇报的跟踪。 该基准采用交互式用户模拟器,在工具执行和结果播报时引入可配置干预。 评测显示5家商业语音智能体在需求变更下最高完成率仅55%,中断后4家信息遗漏率至少23%。
DonorRank 提出一种基于学习排序框架的供体语言选择方法,用于低资源零样本语音识别任务。 该框架利用语言学特征、数据集层面特征及历史迁移结果,在印度语和非洲语两种多语言语料库上进行评估。
CASA是一种临床自适应语音匿名化智能体,将匿名化处理转变为任务引导的优化过程,以平衡隐私保护与临床效用。 CASA在涵盖5种语言、心理健康等领域的14项临床任务中,维持了疾病分类性能且满足说话人匿名化要求,而最强固定方法仅在14项中的8项达标。
研究者提出 Machine Hearing Benchmark (MHB) 及轻量级编码器扩展 MachEar,旨在探索音频 LLM 超越人类听觉极限的泛化能力。
针对 DiCoW 孤立解码及短窗口限制,研究提出 DiCoP 与 Pandemonium,引入跨说话人注意力机制解决长文本转写难题。 DiCoP 整合了 DiCoW 条件化与长文本 Parakeet 骨干网络,新增 STNO 掩码优化器以重新估算声纹信息。 团队从 YODAS2 挖掘 5.4 千小时野外多说话人数据构建伪标签,在会议评测基准取得 SOTA 效果并开源模型。
论文提出人形机器人交互原型 KR A1,整合 Qwen2.5-3B-Instruct、OpenVoice v2 及双层情绪处理管道,面向心理健康护理场景。 采用 InsightFace 人脸识别与 FAISS 向量检索实现用户个性化交互;当前评估仅涉及语音克隆的八项声学相似度指标,未进行临床部署。 情绪识别准确率、系统延迟及临床效果尚未评估,相关测试均为开发团队非正式自测,未涉及外部参与者。
IRIS-Embed 通过对比训练和指令感知的音频层加权,将大型音频语言模型(LALMs)适配为嵌入模型,在 INSPIRE 基准测试中显著超越基线。 最佳模型取得 62.92% 的宏平均 Recall@50,优于最强基线的 45.15%。该模型使用约 900K 真实与合成数据样本构建训练集,在 MAEB 基准上获得 9.4-19.8 点的宏平均提升,证明其在语音检索之外的泛化能力。
文本更新分组会显著改变两种翻译器在实时语音合成中的完成时间比较结果。 4 秒分组使 StreamAtt 在 XTTS-v2 上的平均完成领先时间从 106.6 秒增至 229.1 秒,但在 Piper 上反而从 169.5 秒降至 146.5 秒。 这表明比较语音时序时必须明确说明文本进入合成的分组方式,仅说明使用哪种合成器是不够的。
研究通过冻结编码器探针在 HuBERT 和 wav2vec 2.0 的预训练检查点上测试五个任务,发现声学韵律线索和音素边界在最早期检查点即可解码。 音素识别在预训练过程中构建,在 HuBERT 第二阶段目标下重新定位到上层中间层,且获取顺序跟踪抽象程度而非音段/超音段区别。 该发现扩展了关于语音、词汇和句法结构的解释,揭示了自监督学习层级结构的时间演变。
FLEY AI-Voce 是一款开源语音 AI 助手,旨在控制电脑而非智能手机。 它支持对话、打开链接和程序、创建文件、编写代码、控制打印机以及开关电脑。
腾讯首款专属 AI 游戏陪伴 Agent“鹅次元”今日开启内测,面向 PC 玩家提供拟人化陪伴与实时语音互动。 支持 PC 及手机 QQ 陪伴聊天,AI 可基于游戏画面进行互动并回答提问。目前提供“夏夏”等角色,擅长《无畏契约》《英雄联盟》及《反恐精英》等游戏。
三星在 One UI 9.5 中将 Bixby 升级为例个人 AI 智能体,可后台处理订酒店、汇率查询等日常事务。 用户提出定期任务要求后,Bixby 自动创建任务并置于 Actions 栏目,支持删除、暂停、置顶及查看日志。该功能内部测试中,有望随 Galaxy S27 系列推出,现有手机支持情况待定。
日本人工智能实验室 Shizuku(雫)AI 公布支持日语智能对话的全双工模型 Shizuku-Duplex,宣称其为继 GPT-Live 后第二个支持该功能的模型。
提出AUTEUR框架,通过声学计划学习生成测试提示以执行文本到音频模型的红队测试。 该框架结合监督微调与音频反馈强化学习训练计划生成器,在保持目标音频模型固定的情况下进行推理。 实验显示攻击成功率在TangoFlux上为79.4%,在Kling上为95.6%,测试提示具有跨模型迁移性。
在亚秒级延迟限制下对 TitaNet、ECAPA-TDNN 等开源说话人嵌入器进行基准测试。实验发现嵌入前降噪通常有害,会提高等错误率(EER),截断语音活动片段则降低所有模型性能。建议基于原始音频和完整语音活动块进行验证,阈值应优先考虑精确度而非 F1 分数。
论文提出 APEX 框架,通过两阶段检索实现无需微调的口语理解(SLU)。该框架先利用意图原型筛选候选意图,再在选定意图空间内检索上下文示例。 在 SLURP 数据集上,APEX 使 Qwen3 4B 和 Gemma-3-4B 的 EMA 分别提升 4.34 和 3.97 个百分点;高困惑度输入下 EMA 增益为 7.66 和 2.13 个百分点。
Microsoft filed a patent for a system that rewrites live speech and redraws speaker lips to match edits in near-real-time. The AI agent uses user profiles to replace filler words。
AI 系统能够通过鸟类的歌声,在时间维度上追踪并识别出同一只个体。 该系统不依赖视觉信息,而是利用声学特征进行个体身份辨识。 这项技术展示了生物声学在野生动物追踪领域的新应用潜力。
由 Chang Sau Sheong 运营的 Neon Current 互联网广播站开启运行。 该站点实现全要素 AI 生成,包括音乐、封面、声音及 AI 角色主播。 新闻内容均基于 AI 主播所引用的来源生成。
Raycast 推出 Dictate to AI 命令,允许用户在主动应用界面直接语音向 AI 提问并自动注入上下文。 功能基于去年 8 月发布的 Screen Awareness 功能扩展,支持语音转写、风格管理及菜单栏 AI 使用量追踪。 Mac 端新增 Contacts AI 扩展,iOS 端更新 AI 键盘与 Cloud Sync,Windows 端优化窗口与元素发送能力。
AI 编程工具 Cursor 推出“与智能体实时语音聊天”功能,支持通过语音与编码智能体双向对话。该功能允许用户在 IDE、网页及 iOS 端实时沟通,语音由 Grok Voice 驱动,编码任务仍由所选模型执行,并支持零数据留存的隐私模式。
Stride AI 推出模块化语音引擎,目标延迟 ~380ms 并支持 0.2s 原生打断。 该引擎专为定制化环境设计,旨在解决实时语音 AI 中常见的 2 秒延迟及打断尴尬问题。 Stride AI 目前正在向技术团队、机器人开发者及开发者开放早期试点测试。