READ:基于声学差异的无参考 ASR 假设评估指标
READ 是一种无参考的 ASR 假设评估指标,通过声学差异直接评估语音识别结果。 READ 利用预训练自回归 TTS 模型计算语音 token 在文本假设下的条件似然,无需额外训练即可用于假设精化。 实验显示 READ 与特定识别错误相关,相对错误率最高降低 20%,在噪声条件下增益尤为显著。
READ 是一种无参考的 ASR 假设评估指标,通过声学差异直接评估语音识别结果。 READ 利用预训练自回归 TTS 模型计算语音 token 在文本假设下的条件似然,无需额外训练即可用于假设精化。 实验显示 READ 与特定识别错误相关,相对错误率最高降低 20%,在噪声条件下增益尤为显著。
Cardamom发布约40小时微型阿拉伯语方言语音数据集,覆盖埃及等6国21种微型方言。 基准测试显示,最强零样本ASR系统WER为43.47%,适配后降至35.21%;专用分类器F1仅31.95%。 该资源支持ASR系统研究局部方言变异并提升区域覆盖范围。
研究提出原生参照坐标几何,利用母语者语音建立低维参照子空间来评估第二语言发音偏差。该方法无需平行录音或发音标签,不同编码器下的距离指标与口语熟练度呈最高-0.5的负Spearman相关。
ReHear 提出通过迭代式伪标签精化改进半监督自动语音识别(ASR)。 它利用指令微调的音频感知大语言模型(LLM),基于 ASR 假设和原始音频生成高精度伪标签,用于微调 ASR 模型。 该框架在不同基准测试中均优于监督学习和传统伪标签基线,有效缓解了错误累积问题。
研究提出针对自回归声音克隆 TTS 模型的特征可解释性框架,基于稀疏自编码器(SAE)等分析 Qwen3-TTS 及 5 个额外模型。 SAE 擅长稀疏探测与概念发现,PCA 在密集探测中表现竞争;在 Qwen3-TTS 中自动验证了 684 个 SAE 特征,覆盖说话人聚类、风格及录音条件。 该研究为理解 TTS 模型内部声学属性编码机制提供了全面解析。
研究者提出结合说话人与口音相似度评分及子词标注的分段评估协议。 47名听众评估了200对苏格兰和澳大利亚语音样本,涵盖2个零样本TTS系统和1个发音转换系统。子词标注揭示了显著发音差异,且有时与相似度评分得出的系统排名不同。说话人与口音评分呈强相关(ρ = 0.71)。 该协议有助于超越传统评分,利用局部感知证据开发感知基础的分段口音评估方法,相关代码、数据和交互式演示已开放。
**title_zh:** 基于发音监督的 Qwen3-TTS 爱尔兰语语音合成 **summary_zh:** 基于词典发音文档监督,Qwen3-TTS 在 12.8 小时 Common Voice 数据上微调后,跨语料 CER 降至 0.225,显著优于 0.397 的从零训练系统。
Granite Switch 4.1.1 作为补丁版本发布,与 4.1 完全向后兼容,无需迁移。 该版本更新了支持 10 种语言、自动添加标点的大小写的 Granite Speech ASR 模型,并优化了 granitelib-core 中 Decision adapter 在 Jev Decision Index 测试集上的表现,基础模型未做重算。
Hugging Face 发布 AnySpeechRecognizer 和 AnyDecisionModel 两个 Swift 包,支持在 Apple 平台运行开源语音识别与决策模型。
推荐理由:Hugging Face 官方提供 Swift 包实现 Apple 平台语音识别与决策模型,支持本地运行多家开源模型及音频流式处理。
流式 TTS 区分音频输出流式与双流式,后者支持 LLM 实时对话中边生成文本边合成语音。CosyVoice 2/3 采用交错建模与 chunk-aware causal Flow Matching 实现全链路流式生成。 系统需权衡文本右看范围与首音延迟,分别记录服务端首包和客户端首音时间以评估性能。
OpenAI 宣布 Dot 功能新增文本、照片及语音笔记支持,用户可像发送短信一样直接向助手下达任务。该功能通过 iMessage 或 RCS 提供隐私保护,助手会主动发送更新,现已面向美国 Pro 用户开放预览。
推荐理由:该功能支持通过iMessage或语音备忘指令AI助手,展示了日常交互与执行任务的能力扩展。
NVIDIA 今天推出开源权重语音模型 Nemotron 3.5 Transcribe,单个模型即可处理转录、说话人识别和翻译,支持 40 种语言。该模型在 Hugging Face 开放 ASR 榜单排名 No.1,采用约 43 亿活跃参数,比当前排名第一的开源权重模型参数少约 80%。
推荐理由:NVIDIA开源语音模型Nemotron 3.5 Transcribe一次完成转录、说话人分离和翻译,用本地设备即可完成多语种音频信息提取。
提出 AZeroS 模型,基于 Qwen2.5-7B-Instruct,通过自生成无指令调优(SIFT)范式扩展 LLM 至语音领域,无需收集任务特定问答对。 利用约 25,000 小时带 ASR 转录的语音和 3,000 小时带副语言标签的语音进行训练,仅更新两个 23.80M 参数的轻量投影模块,保持 LLM 和音频编码器冻结。
针对多语言语音识别中数据采样依赖人工启发式设计的问题,提出一种语言感知的智能体数据采样框架。该框架引入 LLM 智能体,基于音系、形态和句法分析 ASR 错误,并结
Lipi-Ghor 语料库包含来自 998 个 YouTube 视频、涵盖 17 个领域的 885 小时孟加拉语音频,并带有 SSTT 格式说话人分离标注。它是首个将大规模覆盖与长形式音频的说话人分离标注相结合的孟加拉语语音语料库。语料库构建流水线可在其他拥有字幕 YouTube 资源语言中复现,原始资源以 CC-BY-4.0 许可发布。
研究通过匹配同类与不同类替换测试音频语言模型对本地声事件编辑的响应。 在600个合成音景及3个模型测试中,不同类替换导致答案变化率比同类替换高49.7至60.9个百分点。 同类替换准确率与原始准确率差距在5.2个百分点内,且插入类别的选择性准确率为73.7%至81.9%。
基于 LLaMA-Omni 架构,研究者构建了首个开源巴斯克语 Speech Language Model。该系统采用 Latxa 模型作为骨干网络,通过微调多个模块将文本能力迁移至语音模态,并基于英语语料翻译生成合成数据以解决数据稀缺问题。评估结果显示,系统的内容质量得分为 3.86/5,语音清晰度 WER 为 9.94%,音质 UTMOS 为 3.07。
EvoSpeakerMem 提出免训练层实现因果说话人路由与身份分区记忆写入,解决语音智能体身份混淆问题。 引入 LoCoMo-ID 基准测试,在说话人敏感查询任务中,相比固定表征方法提升 3.86 和 11.62 个百分点。 揭示记忆碎片化与跨用户污染之间的权衡关系,单一 QA 指标无法完全捕捉该复杂性。
Tap2Listen提出了一种流式视听目标说话人提取模型,支持即时切换目标说话人。 该模型将计算按模态分离,音频编码器处理混合信号,视觉线索仅作为解码器条件,切换仅需0.12ms重新投影。 在LRS3-2mix测试集上,SI-SNRi从8.85 dB提升至9.68 dB,且可在单CPU核心上实时运行。
AudioFM 提出一种结合录音级对比学习与掩码潜在区分的自监督框架,在多种音频领域的线性探针、微调及零样本迁移任务中均达到 state-of-the-art 性能。
EmoNet 提出了一种用于7类语音情感分类的轻量级深度学习框架,在TESS、RAVDESS和SAVEE结合数据集上达到了96.75%的测试准确率。 该模型由四块深度可分离CNN编码器、双向LSTM和多头注意力池化机制组成,仅包含411万参数,性能优于基线模型。
腾讯混元发布并开源了低时延、高准确率的 Hy-SimulMT 同声传译大模型,支持中英语音实时互译及音色克隆,实测响应时间约 3 秒。在 RealSI 评测集上,该模型在最低延迟情况下实现了最佳翻译效果,超越了主流开源模型和大部分商用 API。
推荐理由:开源了低时延语音到语音实时翻译模型,实测效果超过主流商用API且达到人类同传专家水平。
研究团队构建主动语音智能体蜜罐,在53天内捕获10,015通真实诈骗及垃圾电话。 系统记录895小时音频、328,869轮转录数据及5,665个来源号码,75%标签经人工复核。 约949通确认为直接诈骗,其余多为合法获客;检测器在真实流量上精度下降。
一项基于10,211通电话(913小时音频)的分析显示,诈骗团伙复用30种开场白脚本,更倾向于索取地址和出生日期而非支付凭证。 研究表明,诈骗者对年龄每大10岁的目标会多进行15%的对话轮次,但索取敏感信息的比例(26.3%)不随年龄变化。仅凭前8句开场白,ROC-AUC达0.87即可预测诈骗升级。
全双工语音对话模型在全序列 RL 中常因奖励采样导致梯度陷阱与信用泄漏,模型在用户插话时无法正确让位或保持沉默。 研究者提出窗口似然(Window Likelihood),通过闭式积分对停止决策进行建模,替代传统逐样本奖励。 在 HumDial-FDBench 上,该方法在六款开源模型中取得最优 yield/hold F1 分数,且不增加重新抢话频率。
新推出的因果语音分离器(含140M至374M参数版本)在实时通话中显著降低转录错误率。该模型在AMI测试集上实现16.13%的词错误率,优于VoxLock的23.66%,且可在单CPU线程上以20ms延迟运行。项目已开源,并提供LiveKit插件。
用音素平均 log-Mel 向量替代冻结 TTS 模型进行文本注入,训练速度提升 1.8 倍且词错误率相当。 系统在 LibriSpeech 上取得 1.36% 至 3.24% 的 WER,结合外部语言模型达到 SOTA。 代码公开,实验涵盖 25,000 小时 Loquacious 数据集。
研究构建了日英双语人设-台词冲突基准,以诊断 Chain-of-Thought TTS 在情感冲突下的规划-合成故障。 QwenEmotion 监督使英文方向准确率升至 84%,日语达 75%;学习式文本-潜空间接口将英文最高提升至 89%,日语唤醒度达 88%。 结果证明,通过学习修复规划到合成接口可恢复与文本情感相悖的语音表现,但该效果在语言与声学维度间存在差异。
研究人员提出 LoRA 微调和双分辨率上下文(TRC)架构,以缓解全双工语音模型在长会话中出现的响应性、内容质量和声音一致性退化。 TRC 架构保留近期交互细节并压缩历史至 KV 表示,实验显示该方法将 KV-cache 增长减少超过 90%,并使稳定性优势延伸至训练时长之外。
研究构建了包含 26,694 个对话、786 小时音频的口语数据管线,定义了请求最早可行动点。 管线通过受控任务生成与对齐标注支持全模态语言模型训练,实现分块级因果决策。 模型在保留对话和 $\tau^2$-bench 外部基准上分别取得 0.48 和 0.47 的 tool-state macro-F1,正确调用平均领先 1.1-2.0 秒。
StyleInstructCaps 发布了首个面向音频语言模型的可控说话风格字幕基准。 该基准包含数据集和评估框架,重点衡量元数据接地性、幻觉率及指令遵循能力。 研究在 9 个 SOTA 模型上发现,指令遵循能力不必然代表风格理解深度。
研究者提出基于 Whisper 预训练编码器的嵌入子集选择方法,在希伯来语和丹麦语 ASR 微调中表现优于随机采样。 该方法使用固定维度嵌入空间与贪心 k-center 算法挑选多样且具代表性的训练子集,k-center 子集在较小规模下捕获更广词汇多样性,显著提升识别效果。
文章梳理 CosyVoice 至 Qwen-Audio-3.0-TTS 四代语音生成系统,揭示瓶颈从表征、流式分工、规模优化向接口容量迁移的主线。 关键参数包括 CosyVoice 3 扩展至 100 万小时数据及 1.5B LM,Qwen-Audio-3.0-TTS 将帧率降至 12.5 Hz 并扩展至 59,049 索引空间。
CounselPlex 是一种压力源感知的全双工咨询框架,旨在解决模型在咨询中忽视求助者核心问题的“压力源盲点”(Stressor Blindness)。 该模型通过在求助者沉默期间更新简短的压力源状态,并在倾听时将此状态注入对应位置,还引入了 RoPE 位置偏移增强(RPSA)以拓宽训练中的位置覆盖范围。
summary_zh: 研究提出 FD-LHB 基准,揭示 5 个全双工语音模型在长对话中因上下文窗口耗尽导致崩溃。 滑动窗口机制引发“初始化锚点驱逐”与重复输出;引入 IAP 与 DRP 可无重训实时抑制崩溃。
提出后训练方法 DIAL-S2ST,通过自蒸馏和 LoRA 适配器实现实时语音到语音翻译的推理延迟控制。 该方法利用 Hibiki 模型和法英翻译任务,仅需 10 小时源语言语音即可实现质量-延迟权衡的灵活调整。 为无配对目标数据或奖励计算的场景提供了监督信号,使发射时机更早期且可控。
X-Dubbing提出了一种联合时序感知语音文本翻译与视频感知文本语音合成的方法。该方法包含生成时序脚本的翻译器和同步渲染的配音员,无需配对配音数据。 实验表明,X-Dubbing在等时性和视听对应性等指标上优于近期基线模型。
研究提出 Uni-Stream,一个基于紧凑预训练语音模型的统一流式语音语言模型,支持语音识别与合成双向交互。 模型通过两阶段训练处理交织的文本与语音流,性能接近专用任务模型。研究者将公开发布生成的转录文本及词级时间戳。 分析发现语音与文本在统一架构中占据不同的潜在特征空间,且模态内表征在深层网络变得更依赖任务。
MG-REPA 通过帧级与话语级双路对齐加速生成式 TSE 模型训练。 在 Libri2Mix 数据集上,该方法使达到 MeanFlow-TSE 基线 OVRL 和 PESQ 性能所需的训练轮数分别减少 3.0 倍和 2.1 倍。 训练 750 轮后,其干扰性指标表现优于 2000 轮基线,且非干扰性指标有所提升。
Qwen Audio 发布技术分析文章,探讨多方言语音识别中原文转写(ASR)与语音翻译(AST)模式相互影响产生的“跷跷板”效应。文中指出在 qwen-audio-3.1-asr 中支持 16 种方言可控转写模式,并解释加强特定方言训练可能因内部表示重叠导致其他方言退化。