低资源语言语音转写:28 个开源多语言模型在 50 种低资源语言上的迁移微调研究
该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。
该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。
针对120轮客服对话的配对测试显示,听众在“人类相似度”与“会话偏好”上的评判存在显著差异。部分TTS系统在相似度上排名较高,却在偏好上落后;听众在偏好测试中选择合成语音的比例(36%)高于相似度测试(19%)。 仅测量人类相似度或每个系统只测试一个声音,会导致错误判断听众实际更想与之交谈的合成智能体。
针对低资源黏着语码切换语音识别难题,研究者提出 Dynamic Block-Online 框架。 该框架结合 VAD 对齐推理与灵活延迟预算,通过全局双向注意力保留形态完整性。
Hy ASR 3.0 是基于 LLM 的自动语音识别系统,支持普通话、英语及 13 类中国方言,在多项公开基准上取得最低综合错误率。模型支持热词列表、问答对话等外部上下文,并利用句内上下文消解同音词歧义。该系统在长语音、儿童及老人语音、低音量及嘈杂环境下均表现出强大的鲁棒性。
为增强 BEST-RQ 对不同量化配置的鲁棒性,提出分布鲁棒扩展方法。 将训练构建为基于码本的组分布鲁棒优化(DRO)问题,通过自适应重权强调表现较差的组,并使用 Kullback-Leibler 散度正则化。 在 Multilingual LibriSpeech 数据集上验证,该方法性能优于传统的多个码本均匀平均方案。
基于冻结的多模态 LLM,通过 97M 参数适配层以约 30 GPU 小时训练出全双工词级口语对话系统。 Thinker 保持冻结,Talker 独立读取离散 token;在 Full-Duplex-Bench 和 InteractionBench 中,该系统的口语任务准确率、连贯性优于大规模训练的开源自对系统。
英伟达11月12日批准CEO黄仁勋辞职,科莱特·克雷斯出任临时CEO并继续担任CFO;董事会已启动新CEO遴选程序。 特朗普建议苹果CEO蒂姆·库克接任,马斯克则称“荣幸”;同日腾讯知情人士澄清“裁员50%”为对AI时代资源调度的误读,实际举措偏向“增效”。 ```
语音购物工具 SayStreet 允许视障用户通过对话完成购物,LLM 仅建议不执行支付。 支付由代码引擎在用户确认金额后触发,支持 PayPal 沙箱环境测试。 该工具支持 1.37 亿商品搜索,已开放无需注册的在线演示。
苹果首款智能家庭中枢 HomeView 及新款 Apple TV 4K 于 11 月 13 日正式开售,澳大利亚和新西兰首批预购订单已送达。HomeView 定价 299 美元,配备 7 英寸屏幕和 1200 万像素摄像头,可区分最多六位家庭成员,围绕 Siri 构建;因 Siri 在欧盟不可用,该产品不在欧盟上市。
AxiomStory 是一款 AI 故事工作室,通过自动生成的 Wiki 锁定角色特征,确保文本、图像及视频中角色外观与行为的一致性,并支持一致性检查工具。 其功能涵盖从文本导入到视频生成,付费计划包括 Writer $16/月、Studio $48/月及 Studio Pro $160/月,免费层提供约 30,000 字额度,7 天内可全额退款。
Meta 的消费级 AI 智能体 Muse 现可为用户拨打美国企业电话,该功能仅限付费订阅用户使用。Muse 订阅费用从每月 20 美元起,提供每周 5 亿 Muse tokens,高阶用户可选每月 100 美元获取 30 亿 tokens。Meta 首席 AI 官 Alexandr Wang 表示,此功能可处理诸如运营商、车管所或餐厅订餐等用户不愿亲自拨打的电话。
ElevenLabs 发布两款语音转文本模型:Scribe v3 面向预录音,102 种语言词错误率较前代下降约 25%,德语准确率提升明显,且首次支持实时场景下的说话人分离;Scribe v3 Live 面向低延迟实时应用,通过分析对话上下文避免语音智能体在说话者短暂停顿或念数字时错误切断。
部署平台Vercel报告显示,生产环境中的AI模型有效半衰期约为六周,十月语言模型请求中超过半数量流向发布不满60天的新模型。决策模型在十月份占网关总请求量的26%,但成本极低;语音模型使用率在七个月内增长了161%。Anthropic在十月获得了比OpenAI更多新增团队作为首选,而OpenAI则占据了网关总支出的约15%。
推荐理由:报告基于海量生产数据揭示模型快速更迭规律,指出企业AI核心挑战是构建可连续替换模型的基础设施而非单一选型。
科大讯飞 SparkAudio 1.0 语音基座大模型已在讯飞开放平台上线 API 服务。该模型支持 99 种语言和 202 种方言,能直接理解语音中的语义、情绪和场景,解决了传统级联方案的信息丢失与链路割裂问题,可用于智能客服、汽车座舱等场景。
DeepL 发布语音 AI 模型 Aure,用于驱动实时语音翻译产品 DeepL Voice。Aure 可连续分析说话者的音调、情绪、语速和重音变化,并将这些表达特征带入目标语言的翻译语音中。
VoxMel 用于零样本语音合成的波分解自回归梅尔频谱建模 模型:https://huggingface.co/VoxDance-Lab
苹果发布技术文章详解 Apple Silicon 中的 Secure Exclaves 安全隔离区,通过独立运行环境确保摄像头和麦克风采集的原始音视频数据不被操作系统、应用或苹果自身访问。
苹果发布博文,详解 iPhone 18 Pro 和 iPhone 18 Pro Max 上基于 Secure Exclaves 架构的“Hey Siri”唤醒流程。 该流程采用 Always-On Processor 低功耗初筛,再由 Siri 隔离区进行精细复核,并通过屏幕指示点校验后才放行音频。 苹果承诺原始音视频数据在隔离区内阅后即焚,确保主系统及公司自身无法访问原始数据。
一项包含 75 名听众的盲测研究发现,在排除录音链路差异后,听众判断有声读物片段是人类还是 AI(ElevenLabs v4)生成的准确率仅为 48.8%。数据表明听众对判断信心与准确率无关,且 ElevenLabs 语音常被误认为人类。
针对 ElevenLabs 语音库 32 种配音进行的盲测显示,专业与即时克隆声优胜率相当,而音色响度是获胜关键。 1,122 次强制选择判定中,响亮的片段赢了 54% 的对局;Marie 以 66% 胜率居首,使用量与胜率零相关。 测试在 Woodstitch 平台完成,数据已公开,证明了响度对听众偏好的显著影响。
AWS 发布 Amazon Bedrock 和 AgentCore 多项更新,包括 Claude Haiku 5.5 在 Amazon Bedrock 支持 subagent 场景,OpenAI GPT-6.1 Terra 在 Amazon Bedrock 上 GA,并带来 100 万输入 token 和更低价格。
推荐理由:原文汇总了模型可用性变化与 AgentCore 新增能力,读者可以据此判断现有 AI 工作流需要调整哪些部分。
Amazon SageMaker AI 宣布支持双向流推理的基于用量计费,解决实时语音 AI 的实时软件计费难题。Deepgram 作为首发合作伙伴,为其 AWS Marketplace 上的 STT 和 TTS 服务实现按用量计费。
DeepL 发布名为 Aure 的语音模型,使 DeepL Voice 在实时翻译中保留说话人的语气、情绪、重音和语速。该模型持续分析翻译文本与原始音频,并在训练时分离声音身份、语音旋律与内容以便独立转移,同时用强化学习去除口音。
Adobe 在 MAX 大会上公布 Project Screen Test、Sight Span 等四项 AI 实验项目,支持对话设计角色、将平面图像转换为可探索 3D 场景及复制编辑操作。
DeepL 推出旗下最具动态感的语音 AI 翻译模型 Aure,能够实时复现说话者的语气起伏、情绪流转及重音强调。该模型建立在声音保留技术之上,已支持 DeepL Voice 网页会议版、面对面交谈版及语音 API,首发覆盖英语、德语、法语等 8 种语言。
Lokey 是一款支持本地AI预测、语音识别和翻译的Android原生键盘,所有模型在手机端运行。它支持 39 种语言和 11 种键盘,提供约 230 MB 的 LFM 2.5 和 533 MB 的 Qwen 3.5 等本地小模型。应用采用本地私有存储处理数据,无需账号、订阅或连接推理服务。
Kindred 是一个提供 AI 对话并帮助用户寻找同好新朋友的社交平台,支持开启匹配后以匿名方式加入共享房间交流。其语音对话功能使用 OpenAI 的 GPT-Live,文本回复使用 GPT-5.6 Luna,且具备记忆与章节(Chapters)管理功能,目前已在 App Store 上线。
OpenAI 宣布将于 2026 年 12 月 11 日停用 ChatGPT 中的 Advanced Voice Mode 和 Standard Voice Mode,全面转向 GPT-Live。
推荐理由:明确给出了旧版语音模式的淘汰时间表,并列出 GPT-Live 暂不覆盖的例外场景,方便读者评估自身使用需求。
挪威 LA4O 团队于 2026 年 7 月 27 日通过地面无线电发送语音指令,成功让 OPS-SAT PRETTY 卫星启动《毁灭战士》,创下全球首例纪录。 团队利用约 27MB 的 AI 语音识别模型处理信号,该立方体卫星在轨完成降噪与指令识别,最终通过关键词触发游戏并回传图像。 项目由 Tanagra Space 牵头,历时 59 天完成,相关技术未来有望应用于识别太空中的遇险求救信号。
Earlybird 是一个 29M 参数(4-bit 量化下 16.8 MB)的流式语音识别模型,在干净有声书语音中,中位词在说话人结束前 90 ms 即可正确预测。
Walrus 是一个基于 Gemma 4 初始化的 8B 统一语音与音频基础模型,支持 ASR、翻译、TTS 等 20 多项任务及 100 种语言。 该模型采用数据为中心的训练策略,通过三阶段课程学习平衡不同任务,预测低比特率离散语音 token 并由轻量解码器转波形。 在多数多语言、多说话人基准上领先同级开源模型及专用模型,性能匹配或超越 4 倍大小的 Qwen3-Omni。
一项基于 960 小时英语有声书语料的研究表明,在有限建模预算下,词是最优的语音编码单位。 该研究对比了音素、音节及多词组合的信息率,发现使用 n-gram 或 Transformer 模型时,词的信息率最低。 结果指出,大于音节但小于长词组的中间单元在有限算力下提供了最高效的信息表示。
AVCC是一个31小时的单摄像头单麦克风视觉语音对话语料库,用于多方下一位说话人预测(NSP)公开基准。 该语料库包含双人和三人在线对话,带有词级强制对齐转录文本,并新增了一个说话人不相交的七段视频测试划分,包含865个保持静默和865个切换静默事件,以及在相同事件上收集的人类参考基准。
Alania-2 是一款 488M 参数的土耳其语 TTS 系统,支持即时与微调语音克隆。 该模型基于 18,195 小时音频训练,在 Freya-TR-Eval 基准上词错误率为 1.44%,推理首音频延迟降至 32ms。 团队开源了评估框架及三个土耳其语音和文本数据集。
Antalia-2 Mini 是参数量 7,620,931 的土耳其语 TTS 模型,在 Apple M5 上以 41 倍实时速度生成 48 kHz 音频。 训练数据源自约 300 倍大模型 VoxCPM2,保留约 1,790 小时合成音频;微调码器后 WER 降至 1.75%。 模型权重、推理代码及评测基准已在 Apache-2.0 协议下开源。
该模型利用冻结的 wav2vec2 提取内容嵌入,结合向量量化与 HiFi-GAN 生成匿名语音,未使用波形重建损失。 在 VPC 评测中,模型 WER 低至 2.53,EER 为 13.39,且无需辅助目标即可部分保留情感特征(UAR 43.91)。 该方法证明了仅依赖嵌入匹配即可实现低失真匿名化,适用于对隐私有要求但不需高保真的场景。
提出端到端框架 PlanAudio,无需中间预处理即可从非结构化自由文本直接生成统一的语音与声音混合音频。 该模型在单个自回归架构中集成潜在规划机制,先预测连续音频布局再生成声学 token,并构建了 Free-Form Unified Audio Generation Benchmark (FUAG) 评测集。
Swanada 开源 16 kHz 流式 ASR 系统,共享 INT8 Conformer 编码器配合 12 个热插拔线性 CTC 头,移动端存储降至 25.85 MB。 Studio 级 17 层模型 WER 5.43%,Mobile 级 14 层模型 WER 18.56%;TTFT 中位 30.6 ms。 覆盖古典梵文及十种印度语言,消除云端延迟与音频保留成本。
针对医疗数据稀缺问题,本研究利用生成网络对语音特征进行数据增强,提升了痴呆症分类器性能。 变分自编码器将区分记忆诊所典型患者组的四分类器 F-score 从 58% 提升至 74%,提高了 16%。 该方法证实生成模型在稀疏数据域中训练鲁棒分类器的有效性。
研究通过 172.8 小时语料库适配 449M 参数的 SraVaani 混合 TDT-CTC 模型以处理尼泊尔语与英语混杂场景。 微调使测试集 WER 从 48.6% 降至 17.1%,12 轮训练进一步降至 16.3%,优于微调后的 Whisper large-v3-turbo;冻结编码器会导致 WER 回升至 25.5%。