从语音信号直接估计惊奇度:基于语音LM的重要性采样方法
研究提出用语音语言模型(speech LM)直接从语音信号估计惊奇度(surprisal),消除传统依赖文本转写瓶颈。引入重要性采样估计器,对文本转语音模型生成的多种声学实现进行边缘化,以近似抽象语言单元的概率。
研究提出用语音语言模型(speech LM)直接从语音信号估计惊奇度(surprisal),消除传统依赖文本转写瓶颈。引入重要性采样估计器,对文本转语音模型生成的多种声学实现进行边缘化,以近似抽象语言单元的概率。
PACT 提出目标语语用提示框架,解决现有语音翻译系统在情感、语调及节奏表达上的不足。 该框架提取源语语用线索并投影至目标语空间,转换为连续提示词驱动冻结语音生成器。 在西班牙-英语双向 TOPI 评估中,PACT 在内容保真、声音及表情保持指标上综合表现最佳。
ScreenASR-Bench 是一个含三层递进难度的视觉语境 ASR 基准,涵盖直接屏幕文字(ETE)、视觉内容(EVE)及场景级语义推理(ISE)。 实验表明,引入视觉语境可显著提升 ASR 模型、大型音频语言模型(LALM)及 Omni 模型的召回率;其中 ETE 层级提升最大,ISE 层级提升最小。 研究团队已公开发布该基准,以推动基于视觉锚定的语音识别研究。
研究者微调 Whisper 预测单词起止时间戳,构建的强制对齐器在电话语音上的单词边界误差为 16.0 ms,优于 MFA 的 36.5 ms。 模型仅使用 47 小时人工标注边界数据训练,采用 LoRA 微调并优化了时间戳槽位布局,对转录错误具有极强鲁棒性。 该结果在 FA-Bench 基准上达到 11.6 ms 误差,优于最佳已发表系统的 18.2 ms,并发布了相关模型。
Diffuplex 引入基于离散扩散的全双工口语模型,在思维模式下达到每秒 1872 个 token 的生成速度。 该模型通过分离训练层面的“何时说”与“说什么”,实现智能性与响应效率的平衡。 Diffuplex 语义计算不再受感知音频帧率限制,为实时对话智能体确立了新范式。
研究通过纵向评估 2021-2025 年发布的 16 个主流 ASR 系统,揭示标准与少数派英语变体间的性能差距并非随时间可靠缩小,反而存在风险。 在 8 个涵盖多样化英语口音的数据集测试中,少数派口音表现不稳定,不同代际系统间 Word Error Rate 有时恶化高达 65%。 研究表明标准 ASR 基准隐含了优待主流美式英语的语言政策,反映了技术基础设施的体系性缺陷。
在级联语音智能体中,ASR 错误对下游工具调用的影响差异显著。现有 WER 指标无法捕捉这种差异,研究提出了配对诊断协议 SpeechEvalX,用于评估 ASR 错误受影响的任务角色如何影响结构化工具调用。
研究提出了一种语音对语音预训练方法,通过创建内部文本接口将文本大模型的知识蒸馏到仅具备语音输入输出的模型中,实现了从文本基础模型向语音模型的知识迁移。 模型在匹配训练条件下,显著提升了语音续写的生成困惑度,接近外部语音识别提示的内部独白模型表现;蒸馏过程有效提升了模型在文本和语音评估下的事实性能,更好地保留了基础文本语言模型的知识。
该论文提出了名为Nufo的埃维语ASR基准,其语料库总时长达174小时。 在评测中,Whisper-medium模型的词错率(WER)为37.98%,AfriHuBERT模型为39.70%。 此基准及模型将公开发布,以推进埃维语等低资源语言的ASR研究。
D2 框架通过解码器无关的表示蒸馏和监督微调,将 Qwen3-Omni 等半双工模型转换为具备高通用能力的全双工语音模型。 在 12.5Hz 更新率下,Qwen3-Omni-D2 实现 99.2% 的接话成功率、521ms 延迟及 70.1 的 SOTA VoiceBench 分数。 该框架系统性研究了块大小对交互与计算的影响,支持在高时间粒度下兼顾通用能力与实时性。
研究证实,九个深度语音模型(含 HuBERT)的单词时序信息均映射为低维“时间子空间”中的近圆形轨迹。 方法 RoSeg 在 Librispeech 上检测到单词边界时实现 64.3% 的 boundary F-score,显示 HuBERT 具备强隐式单词知识。 该成果表明圆形时序结构是深度语音表征的普遍属性,深化了对模型如何编码单词时长信息的理解。
AegisVox 提出分解框架,通过分配代理语音并编辑标识符回合以保护临床语音隐私。 在 390 段共 63.6 小时的模拟对话中,TTS 渲染实现了 535/601 的计划替换,优于基于编解码器的语音编辑器(453/601)。 该框架支持针对替换实现与临床保留、说话人关联之间权衡的特定用途评估,但不保证移除标识符或确保临床安全。
提出一种oracle引导的微调方法,将N-best假说列表转化为监督信号,训练大语言模型在语音识别后编辑中选择或重写,通常能降低WER且无需重新训练识别器。 该方法构建三个监督池:corrections池(参考在列表中但非top-1)教模型学会选择,regularizers池(top-1正确)抑制不必要重写,hard negatives池(参考缺失)防止幻觉。
连续比特流扩散模型 CoBit 为图像-文本、语音-文本及蛋白质序列-结构生成提供了统一框架。模型无需预训练文本,仅用单检查点支持条件生成,生成语音与文本的 Word Error Rate 为 3.5%。
ASSET 提出基于强化学习的语音分片框架,将声学编码器输出压缩为连续音频 token,在 LibriSpeech 上以更少 token 接近字符边界基准性能。 框架使用 GRPO 训练分片器,结合任务表现反馈与 token 率惩罚,Mandarin AISHELL 上优于音素边界基准。 实验表明该框架可适应非 ASR 任务,自适应改变分片策略。
提出 EAVA 方法,通过在语音编码器各层插入轻量适配器并单独训练,解决目标领域数据有限时语音大模型(Speech-LLM)领域适应性不足的问题。 实验显示,EAVA 在涵盖儿童语音和方言语音的 3 个领域偏移自动语音识别(ASR)数据集上,性能持续优于常规微调及其他基线模型。
该研究提出多阶段训练策略以优化LLM-based ASR的熵分配,提升参数效率与幻觉鲁棒性。 实验表明,该方法仅使用2.3B参数即可在普通话和英语基准测试中达到与SOTA模型相当的竞争力。
研究引入基准DEAF,包含2,700多个冲突样本,用于诊断音频多模态大语言模型是否真正处理声学信号。 该基准覆盖情感韵律、背景声音和说话人身份三个声学维度。 评估七款Audio MLLMs发现,尽管模型对声学变化敏感,但其预测主要受文本输入驱动,显示出标准语音基准高分与真实声学理解之间存在差距。
M3-DuplexBench 提出了一种针对全双工口语对话系统(FDSDS)的多轮、多语言、多领域评估基准。 该基准在英语和日语的休闲对话及多轮问答场景中,联合评估交互时序与响应内容,并支持跨语言对比。 实验结果显示了不同 FDSDS 模型在交互模式、语言及领域上的差异,该基准已公开可用。
OpenPA提出基于Whisper交叉注意力机制的新框架,无需强制对齐即可联合预测词级和语句级发音分数,并在单一模型内支持闭卷和开卷场景。 模型仅使用speechocean762训练,在域内闭卷和模拟开卷条件下取得最强整体性能,零样本泛化至MultiPA,并在口腔癌语音任务上展现跨任务潜力。 框架已被提交至ICASSP 2027。
Oído 在 ESP32-S3 微控制器上运行 13M 参数 Conformer-CTC 模型,实现开放词汇英语语音识别。 LibriSpeech 测试集中 WER 为 3.70%/8.23%,比同芯片厂商识别器错误少 2.3-2.8 倍;单核运行速度为音频时长的 1.97 倍,代码与模型已开源。
研究提出四种探针以测试音频、文本提示及指令措辞对开源音频-语言模型评判生成的音乐评分的影响。 在 MusicEval 的 2748 个音频片段及 SongEval 数据上测试发现,无音频时评判器评分未超提示词预测,且存在位置偏见。 建议每次评估音乐评判器时均报告这四种探针。
该研究在低资源 ASR 场景中对比了 SpecAugment 和基于文本的数据增强方法,发现二者在音素级错误上具有互补性。 SpecAugment 会增加声调和腭化错误,而文本法引入辅音插入;组合使用时,基于文本的方法使低频音素频率提升 37%-38%,抵消了对方的错误。 这种超加性效应仅在 100 小时数据以下的低资源阶段显著存在,建议通过训练暴露度和声学特性来预筛选增强策略。
研究提出基准测试 BASIS-Bench,评估 8 个语音大模型在个性化与刻板印象间的表现。结果显示,模型虽能识别人口统计线索,却大多无法将其转化为适当的个性化回应。 测试发现,显性的人口统计标签虽能提升个性化效果,但会放大文本骨干中固有的刻板关联。该研究指出,需训练模型学习何时应用人口统计线索,而非仅识别它们。
研究在 176 段无脚本对话的 427 个停顿和 482 个回合结束点处测试 6 个实时语音系统。宿主 API(如 GPT Realtime、Gemini 3.1 Flash Live)在几乎每个停顿处响应,延迟约为 1 至 4 秒(基于静默)或 8 秒(语义检测)。
该方法通过对抗训练实现了语音强度的连续控制,无需依赖参考语音。 基于条件循环一致性 GAN 架构,在 WavLM 表征下转换器实现了 83% 的目标强度变化。 研究已提交至 IEEE ICASSP 2027,并开放了相关代码。
研究指出 LLM 音色界面中用户的实际因果效力与系统报告位置可分离,后者存在误差。 实际可达空间是 zonotope,显示位置偏差约为该区域宽度的 3 倍,误差源于模型预测和插值步骤。 36 条指令中 26 条无感知变化,模型失效时系统仍报告收敛,静默失败是主要风险。
针对零样本TTS模型量化后音色受损问题,研究团队提出TTS-Q方法,在1B和3.5B模型上实现无损理解力的音色恢复。该方法通过混合精度调度,为扩散Transformer后期的前馈激活层分配更高精度,以抵消权重和激活量化带来的音色漂移。该技术显著降低GPU峰值内存占用,为资源受限场景下的实时TTS部署提供实用参考。
研究提出 CircuitTree 数据结构与贪心密度缩放组合算法,将 HuBERT 剪枝出的 39 个音素电路组合为音节分类器。 该模型通过层级化电路流水线转写开音节,准确率达 64.8%,接近 66.0% 的天花板,且 99.5% 组件被共享,证明电路组合可实现单一电路不具备的能力。
语音质量预测器的常用抗攻击度量存在缺陷,未考虑神经编解码器处理链导致的分数偏移,且单一攻击者测试无法代表最坏情况。 在修正协议下,NISQA 语音被 90% 句子的攻击攻破,SSL-MOS 为 21%,DNSMOS 为 14%,UTMOS 为 6%。 现有的检测修补闭环在域外场景下会导致最高 0.30 的 SRCC 性能损失。
FA-Bench 发布统一评测框架,纳入 21 个开源模型与 9 个商用 API,采用基于容忍度的 F1 指标修正 MAE 导致的 9% 至 14% 分数膨胀。 该基准将边界按位置和邻词识别状态分组,发现 Whisper 系统性提前约 150 ms,多个商用 ASR API 延迟超 50 ms。 通过固定文本归一化与评分脚本,解决现有对比因数据分割和边界匹配方式不同导致结果无法直接比较的问题。
微调 Wav2Vec2 和 HuBERT 模型后,其在两个富含 click 辅音的 Khoisan 语言数据上的结果显示,模型识别 click 辅音的准确率始终高于非 click 辅音。这一结果表明,自监督学习赋予了模型跨人类语音声学生成的泛化能力,即使是对于罕见音位也能有效识别。 该研究针对训练数据中低资源语言代表性不足的问题,验证了自监督模型在识别跨语言罕见语音特征时的有效性。
DiffuPlex 提出滚动掩码扩散框架,通过单次骨干唤醒预测多个未来帧,显著减少全双工语音对话模型中的顺序计算。 在部署路径上,DiffuPlex-LISTEN 和 DiffuPlex-SPEAK 分别实现 1.46 倍和 1.59 倍的墙钟加速,核心 LM 加速分别为 1.61 倍和 1.80 倍,且所有骨干调用均在 80ms 交互间隔内完成。
研究提出 SimIF-Bench 基准与基于 GDPO 的训练配方,解决全双工模型随对话历史增长而难以控制的问题。 SteerablePlex 连接异步后端语言模型以提供指令,比现有开源模型及 GPT-Realtime 更可靠地遵循多阶段约束。 该方法使模型在保持对话轮次能力的同时遵循文本指令,提升了作为用户模拟器的评估可靠性。
EgoVoice 提出了一种训练和评估主动自我中心语音助手的框架,利用 HoloAssist 视频构建数据,通过微调全模态 LLM 和直接偏好优化,显著提升了干预时机和内容相关性。 该研究使用源分离和语音重合成技术生成干净音频流,使模型能自主决定何时说话。 实验证明 EgoVoice 优于零样本基础模型,并被 EMNLP 2026 主会接受。
研究利用低通滤波语音预测文本,微调 Whisper 模型仅使用 12 个最低 Mel bins(约 450Hz 截止频率)。 整体 WER 达 36%,10% 语句完美恢复,40% 语句 WER 低于 25%;给定正确前缀时,下一个 token 预测准确率为 79%。 结果表明低频语音特征与词汇内容关联强于预期,可为 LLM 文本生成提供新应用方向。
移除语音解析模型中的中间神经网络单元,可将参数量减少12%,且在ASR和解析任务中性能与之前方法相当或更优。 该架构简化方案在法语及斯洛文尼亚语、尼日尔皮钦语等低资源语言上得到验证,并探讨了预训练编码器冻结及训练数据规模的影响。 该工作将发表于EMNLP 2026 Findings。
研究发现多语言语音模型存在音系干扰,处理代码切换时丢失 32% 至 79% 的非共享音素。 引入窗口化语言估计(WLE)在推理时修复该问题,移除 34% 至 69% 的干扰。 单语性能基本保持不变,解决了模型强加单一语言音系的系统性失效。
研究提出本地原型重建(LPR)正则化器,提升多语言 ASR 和语音翻译中语音-LLM 桥接的迁移能力,尤其在低资源场景下增益显著。 LPR 要求对齐的桥接 token 可从冻结 LLM 嵌入的局部邻域中重建,并证明该词法流形兼容性与下游性能正相关。 该方法无需修改模型结构,为可复用桥接初始化提供了可量化的诊断标准。
研究审计了 LLM 提示法 tau-Voice 与规则注入算法在模拟语音自然度行为(如冗余、打断、回应)上的表现,发现 LLM 提示法不可靠且语音与指令不一致。 相比之下,无模型规则算法能生成更符合自然语音的可控且多样化行为。结果表明,未经专项训练的 LLM 不足以模拟真实用户行为,需通过审计实际行为而非配置来识别差距。