TII 发布面向阿拉伯语的 1.6B 参数 Falcon-ASR 语音识别模型
阿布扎比技术创新研究所(TII)发布 1.6B 参数 Falcon-ASR 语音识别模型,重点针对阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。
推荐理由:阿拉伯语音识别模型取得领先基准成绩,读者可了解其在多方言混合语音与复杂录制条件下的表现细节。
阿布扎比技术创新研究所(TII)发布 1.6B 参数 Falcon-ASR 语音识别模型,重点针对阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。
推荐理由:阿拉伯语音识别模型取得领先基准成绩,读者可了解其在多方言混合语音与复杂录制条件下的表现细节。
SteerSpeech 提出一种轻量级激活引导框架,通过在 TTS 模型隐层注入引导向量控制情感,保持模型主干冻结。 使用低秩变换和多专家目标优化,结合直通估计器处理离散语音 token。
研究指出公开预训练ASR模型微调部署时对抗扰动易迁移,新框架TransferBreaker通过集成基模型对抗微调、潜在雅可比正则化及混合梯度AFT,将三种语言四个模型的对抗WER从92.6降至27.8。 该框架理论上证明了各组件有效性,并公开了源代码。
在已知任务音频LLM评估中,引入匹配选择器后,允许生成音频调用的增量准确率提升仅为0.004(95% CI [-0.025, 0.033]),且未达到显著水平。
WaveScat 提出一种结合小波散射变换(WST)的语音特征提取器,在 Deepfake-Eval-2024 基准及 SpoofCeleb、In-the-Wild、ASVspoof 5 跨数据集评估中性能显著优于现有前端。 该模型通过级联小波卷积与模态非线性生成形变稳定、多尺度特征,分析表明小平均尺度结合高频和方向分辨率对捕捉细微伪影至关重要。
Brain2Semantics2Text 提出了一种通过中间语义嵌入空间重建文本的无创解码方法。 该方法将句级 MEG 响应映射到语义流形,再逆推预测嵌入为自然语言,避免了逐词对齐。 相比既往无创 Brain2Text 方法,其在句级解码结果上实现了性能提升。
针对低资源场景下语音大语言模型(speech LLM)性能下降的问题,研究提出了“音素引导初始化”方法,在端到端框架中利用音素中介特性优化 ASR 任务。 具体通过先在 S2P 任务上预训练音频编码器、在 P2G 任务上预训练 LLM,再连接并进行全模型端到端微调;实验覆盖日语 CSJ、中文 AISHELL-1 及 Common Voice 25.0 中的塔塔尔语和乌尔都语。
EmphTTS 是一个非自回归 TTS 系统,通过在时长预测器上应用 GRPO 和重点定位奖励,实现了词级重点控制。 该系统在重点可控性和客观评估中表现最佳,主观偏好测试中显著优于合成基准和多数基线模型。
研究在 Moshi 模型中采用均值差异激活引导,发现情绪可从残差流线性解码,但引导效果不均:happy、angry 和 surprise 趋向共享方向,而 sad 可独立引导。 该方法仅涉及每帧几次向量加法,无需重新训练,且三情绪共享成分无法被均匀投影移除。
基于 7.5 小时双人对话适配的流式分离器提升域内检测精度,但损害说话人身份归因。 适配在六个语料库评估中显示身份一致性受损,而非说话人数错误;局部重映射诊断揭示不同语料库的退化模式。 排练虽减轻退化,却降低跨域迁移性能,强调需联合评估检测、一致性与保留行为。
Itgan 团队在 NADI 2026 共享任务中利用消费者级 GPU 和 LoRA 微调 Whisper,完成了鲁棒国家级、混合方言及突尼斯语码切换三项阿拉伯语 ASR 子任务。 鲁棒国家级 ASR 取得 57.1% 平均 WER,混合方言 ASR 达 46.7% WER,突尼斯语码切换 ASR 以 14.49% WER 和 5.38% CER 获得第二名。
JoyAI-Voice 2.0 发布,基于全连续双编码器架构,实现端到端拟人语音生成。 模型在 Seed-TTS 上取得 2.51% 平均字错率(WER),较最强基线降低 14.9%。 该模型在 InstructTTSEval 中创下中英文 SOTA 属性保真度,MDVD-Eval 综合得分 0.893。
研究显示,儿童 ASR 适应对非母语语音至关重要,但直接适应通常会降低成人 ASR 性能。 实验在阿拉伯语和英语上比较了全量微调、LoRA 及权重空间合并,发现权重空间合并在编码器-CTC 等架构上更能平衡适应与保留。 代码和模型已在公开 URL 提供,供复现使用。
研究团队推出 WorldSonus 框架,专为世界模型实现实时空间音频合成,RTF 低至 0.41。 该框架采用流式因果自回归扩散架构,结合音频中心字幕流水线与 chunk 索引提示调度,支持生成过程中的动态声音控制及立体声空间对齐。 实验显示,WorldSonus 在开放域视频到音频基准上性能匹配或超越最先进模型。
研究表明多语言语音匿名化攻击效果依赖语言效用,声学导向攻击者整体表现优于内容导向攻击者。 当语言信息保留良好时,两类攻击者的性能差距显著缩小;构建的多语言语音转换数据集有效提升了跨语言泛化能力。 发现凸显了综合考量隐私与效用、建立更全面攻击评估协议的必要性。
Jarvis 是一个实时主动语音智能体,能参与多方对话并在群体遗漏或误述事实且未及时自纠时介入。 它基于预共享文档运行,利用小型开源权重模型加确定性检查,并在屏幕上展示引用证据。 在 CHI-180-proactive 评测中,Jarvis 在绝大多数介入事件中判断正确,且在群体自行解决问题时保持 97% 的沉默率。
全双工语音模型在自导对话中呈现时序耦合,但轮次切换较人类显著滞后。 两个 PersonaPlex-7B 实例在共享时钟下交换音频令牌,其中位切换延迟为 400-560 ms,远高于人类的 137 ms,且末段轮次转移占比极低。 这种反应式等待机制表明模型未能实现人类所需的轮次结束预判,可能限制其模拟自然人类对话的能力。
PERSIST提出了一种针对多会话、多说话人语音对话的持久记忆系统,通过3W联合评分机制结合语义、声学身份和时序状态进行检索,将检索延迟从578.42ms降至7.03ms。 系统引入SpokenTrace基准测试,PERSIST在此任务中达到85.08%的端到端任务准确率,并将BGE-large的EM@3指标从49.01%提升至82.10%。
该工作流交付模块化离线语音架构、低成本硬件 BOM 及 2-5B 参数模型量化基准管线。在 NVIDIA Jetson Orin NX 上,gemma-4-E2B-it 于 Q4_K_M 量化格式下实现 28.8t/s 吞吐量。所有模型均在 Raspberry Pi5 的 16GB 内存预算内运行,兼顾了离线部署需求与性能。
研究发现语音语言模型(SLMs)的听觉判断与人类感知对齐较差,且难以捕捉驱动人类直觉的声学线索如频谱倾斜。 开放权重模型无法可靠地将听到的声音与其对应形状建立联系。 实验表明感知对齐依赖于捕捉人类可听线索的语音表征,而非更强的视觉能力。
研究基于流匹配的语音语言模型,构建统一评测套件比较纯语音、纯文本及语音-文本模型在匹配数据分布下的生成表现。实验表明,联合语音-文本建模显著提升了语义连贯性,但在手机 n-gram、说话人相似度及音质指标上改善有限甚至下降,而情感分布指标有所提升。结果显示文本提供了高效的语义训练信号,有助于弥合语音-文本模型在基于转录本的语义连贯性上的规模差距。
针对全双工语音对话模型通常受限于单向测试的短板,该研究提出 DyaFDB 双体评估框架。 框架让两个模型在指定角色下直接互动,涵盖合作与冲突目标,共实例化 4 项任务、140 个场景,记录 7,560 次对话,并覆盖 6 种自我及跨模型配对。 验证了模型行为会持续重塑伙伴表现,因此每个模型必须同时充当考官与被试,发布将包含无预录音频的评估协议。
HINTT 提交系统用于第二届 MLC-SLM 挑战赛,对比级联流水线与统一 Speech LLM 在多语言说话人归属 ASR 中的表现。 最终提交基于级联流水线,包含微调的 DiariZen 说话人分离模型、微调的 Qwen3-ASR 模型及 LLM 生成的错误修正,并在相同官方数据上微调了 VibeVoice-ASR 作为统一模型对照。
研究人员提出一种无需重训练的激活引导机制,利用提示相对引导防止效应累积,动态调整强度以生成更清晰的语音。 该方法基于 Lombard 效应,在可见与不可见说话者及多语言测试中,保持了 89-95% 的说话者相似度,并在 1 dB SNR 下将背景噪声中的 WER 降低了 7-22%。 这一结果表明预训练 TTS 模型可被动态控制以在噪环境中生成更清晰的语音。
研究表明,前沿 LLM 在 576 份医患对话中,35% 的病历包含闲聊,3.7% 错误归因或临床使用这些附带信息。 在 57 次模拟咨询中,-10 dB 背景语音导致 48.2% 转录污染,4 个开源模型的 5.3% 笔记检测到污染。 这些发现支持在临床使用前评估对附带信息的抵抗力。
ARIA 是一个两段式音频驱动框架,用于从带时间戳的粤语音乐录音中生成粤语歌词。 它包含 TRATE 声调估计器(预测 0243 声调序列)和 DRA-TCLG 歌词生成器,并构建了大规模音频-粤拼-0243 对齐数据集。 实验表明 ARIA 在 0243 预测和声调一致的歌词生成上表现强劲,该方法已被 EMNLP 2026 Findings 接收。
EMODE 是一种情绪感知语音语言模型,其核心架构为动态副语义专家(DPSE)。 DPSE 将连续语音特征分解为语义和副语言通路,并动态路由融合。模型采用三阶段课程训练,结合正交专家引导(OEG)等机制。 在 SER 测试和新构建的双语 MEPA 基准上,EMODE 提升了词汇保真度与情感敏感度的平衡。
VoxReason 提供包含 100 个案例的验证基准,通过固定语句并编辑特定来源标签线索,评估引用证据及八个计划字段。 在 24 个源键不相交测试中,来源情绪先验的计划槽位准确率为 0.958,但必需变更准确率仅为 0.000。 基准仅评估派生标签和结构化计划,不处理音频输入、生成语音或听者判断。
研究指出常用语音克隆模型并未忠实克隆声音,而是系统性地将源语音转换为更权威、更亲切且具有客服感的风格。 人类标注者报告对克隆语音的信任度更高,并更愿意向其透露敏感个人信息,表明该技术存在潜在行为影响风险。 研究还发现语音克隆导致口音、语速和音频嵌入空间中的说话人特征方差减小,造成语音同质化。
自监督语音模型(S3M)编码具有音系可解释性,支持音系向量算术。 研究覆盖96种语言,证实模型表示空间存在对应音系特征的线性方向,且向量尺度与声学实现程度连续相关。 该成果已被ACL 2026 Findings接收,代码和交互式演示已公开。
对RAVE和EnCodec解码器的系统性分析表明,合成刺激在音高(|ρ|=0.45)和BPM(|ρ|=0.76)编码上表现优于自然音频。 解码器中间层联合编码能力增强,非线性探针使自然音频的跨特征平均R²达0.56,较线性探针提升0.152。 最佳跨层聚类改善了BPM编码强度(r=0.65)与普及度(r=0.75),推进了神经音频模型的可解释性与控制策略。
summary_zh: AccentCL 是一种基于类增量学习的英语口音分类框架,能应对类别不平衡及跨语料库领域偏移。该模型使用冻结的 Whisper-Large-v3 编码器提取多层表示,并结合不平衡感知损失与领域均值对齐损失进行优化。
基于 Amazon Bedrock AgentCore 构建实时语音旅行管家,集成 Nova 2.5 Sonic 实现语音交互,通过托管知识库回答政策问题。 使用 Strands Agents 框架构建智能体,经 MCP 协议连接 AgentCore Gateway 调用后端服务,支持坐席变更与实时转接人工。
该研究提出针对越南语ASR的结构化音位方法,将输出从表面音素转为抽象音位三元组(声母、韵母、声调),以实现文本确定性重建。 在LSVSC和UIT-ViMD基准上,最佳模型WER分别为5.83%和12.58%,优于正字法及既有音素方法。 结果显示该方法提升了词汇覆盖率并降低了对词频模式的依赖,在各方言中表现一致。
原因如下: 1. **标题自洽规则第1条**:标题必须点出核心主体(模型名/产品名/公司名/项目名)。 2. **标题自洽规则第4条**:补主体只能使用正文或来源中真实出现的名字,**绝不能凭行业常识编造具体型号**。
该研究提出免训练的对比激活添加(CAA)协议,通过少量标注语音生成引导向量,在推理时优化语音语言模型(SpeechLLMs)在转录等任务上的表现。 与仅使用提示词相比,添加引导向量在自动语音识别和情绪识别等任务中带来一致提升,并具备跨域迁移能力。 证明了脚本归一化方向可有效强制特定语言的目标书写系统。
UniAE-MoE 是一个基于混合专家(MoE)架构的统一音频编码器,在 XARES-LLM 基准上取得 0.802 分,达到 SOTA 水平。 该模型融合了 Qwen2-Audio 与 Audio-Flamingo 3 的编码器,采用带共享专家的 SwiGLU 解耦网络,并引入两阶段指令微调与任务特定数据扩展(TSDS)技术。
研究者提出 HIR-SDD 语音深度伪造检测框架,将大型音频语言模型(LALMs)与基于新构建人工标注数据集的思维链推理相结合,实验验证了方法的有效性及其为预测提供合理解释的能力。 现有 SDD 方法普遍缺乏对新音频域和生成器的泛化能力,且缺少可解释性,难以给出人类可感知的伪造线索。 该框架旨在同时提升检测鲁棒性与预测的可解释性。
研究提出 CavaBench——首个内部采集的口语金融查询基准,用于评测 ASR 模型及端到端 ASR-LLM 流水线在自报英国口音下的表现。 WER 与下游工具调用准确率强相关(r = -0.93),但未必反映任务级表现;苏格兰、爱尔兰、威尔士口音引发的错误会传至 LLM 阶段,破坏工具调用参数,而部署还需满足延迟与内存预算。 相关发现可指导设计更包容、可靠的语音金融助手。
研究对 Chatterbox、CosyVoice、OmniVoice 和 VoxCPM2 四款现代 TTS 系统在土耳其语上进行系统基准测试,覆盖微调与零样本配置,并以 VITS 为基线、自然语音为参照。