跳到正文
10月14日周三
  1. arXiv · NLP28

    PACT 框架:面向表情达意与声音保持的语用提示

    PACT 提出目标语语用提示框架,解决现有语音翻译系统在情感、语调及节奏表达上的不足。 该框架提取源语语用线索并投影至目标语空间,转换为连续提示词驱动冻结语音生成器。 在西班牙-英语双向 TOPI 评估中,PACT 在内容保真、声音及表情保持指标上综合表现最佳。

  2. arXiv · AI37

    ScreenASR-Bench:视觉语境下语音识别的分层基准

    ScreenASR-Bench 是一个含三层递进难度的视觉语境 ASR 基准,涵盖直接屏幕文字(ETE)、视觉内容(EVE)及场景级语义推理(ISE)。 实验表明,引入视觉语境可显著提升 ASR 模型、大型音频语言模型(LALM)及 Omni 模型的召回率;其中 ETE 层级提升最大,ISE 层级提升最小。 研究团队已公开发布该基准,以推动基于视觉锚定的语音识别研究。

  3. arXiv · NLP23

    基于 Whisper 微调的语音强制对齐器在电话语音单词边界检测上超越 MFA

    研究者微调 Whisper 预测单词起止时间戳,构建的强制对齐器在电话语音上的单词边界误差为 16.0 ms,优于 MFA 的 36.5 ms。 模型仅使用 47 小时人工标注边界数据训练,采用 LoRA 微调并优化了时间戳槽位布局,对转录错误具有极强鲁棒性。 该结果在 FA-Bench 基准上达到 11.6 ms 误差,优于最佳已发表系统的 18.2 ms,并发布了相关模型。

  4. arXiv · NLP50

    Diffuplex:基于离散扩散的全双工口语语言模型

    Diffuplex 引入基于离散扩散的全双工口语模型,在思维模式下达到每秒 1872 个 token 的生成速度。 该模型通过分离训练层面的“何时说”与“说什么”,实现智能性与响应效率的平衡。 Diffuplex 语义计算不再受感知音频帧率限制,为实时对话智能体确立了新范式。

  5. arXiv · NLP38

    连接点:标准与少数派英语变体间 ASR 系统持久存在的性能差距

    研究通过纵向评估 2021-2025 年发布的 16 个主流 ASR 系统,揭示标准与少数派英语变体间的性能差距并非随时间可靠缩小,反而存在风险。 在 8 个涵盖多样化英语口音的数据集测试中,少数派口音表现不稳定,不同代际系统间 Word Error Rate 有时恶化高达 65%。 研究表明标准 ASR 基准隐含了优待主流美式英语的语言政策,反映了技术基础设施的体系性缺陷。

  6. arXiv · NLP30

    通过匹配内部文本预测将文本大模型蒸馏到语音对语音大模型

    研究提出了一种语音对语音预训练方法,通过创建内部文本接口将文本大模型的知识蒸馏到仅具备语音输入输出的模型中,实现了从文本基础模型向语音模型的知识迁移。 模型在匹配训练条件下,显著提升了语音续写的生成困惑度,接近外部语音识别提示的内部独白模型表现;蒸馏过程有效提升了模型在文本和语音评估下的事实性能,更好地保留了基础文本语言模型的知识。

  7. arXiv · NLP41

    D2 框架将 Qwen3-Omni 等半双工模型转化为全双工模型,实现低延迟实时交互

    D2 框架通过解码器无关的表示蒸馏和监督微调,将 Qwen3-Omni 等半双工模型转换为具备高通用能力的全双工语音模型。 在 12.5Hz 更新率下,Qwen3-Omni-D2 实现 99.2% 的接话成功率、521ms 延迟及 70.1 的 SOTA VoiceBench 分数。 该框架系统性研究了块大小对交互与计算的影响,支持在高时间粒度下兼顾通用能力与实时性。

  8. arXiv · NLP23

    深度语音表征在低维圆形轨迹中追踪单词时序

    研究证实,九个深度语音模型(含 HuBERT)的单词时序信息均映射为低维“时间子空间”中的近圆形轨迹。 方法 RoSeg 在 Librispeech 上检测到单词边界时实现 64.3% 的 boundary F-score,显示 HuBERT 具备强隐式单词知识。 该成果表明圆形时序结构是深度语音表征的普遍属性,深化了对模型如何编码单词时长信息的理解。

  9. arXiv · AI20

    AegisVox: 基于分解隐私与临床保留的长篇语音保护框架

    AegisVox 提出分解框架,通过分配代理语音并编辑标识符回合以保护临床语音隐私。 在 390 段共 63.6 小时的模拟对话中,TTS 渲染实现了 535/601 的计划替换,优于基于编解码器的语音编辑器(453/601)。 该框架支持针对替换实现与临床保留、说话人关联之间权衡的特定用途评估,但不保证移除标识符或确保临床安全。

  10. arXiv · NLP29

    Oracle-Guided Fine-Tuning:基于N-best假说的生成式ASR后编辑微调

    提出一种oracle引导的微调方法,将N-best假说列表转化为监督信号,训练大语言模型在语音识别后编辑中选择或重写,通常能降低WER且无需重新训练识别器。 该方法构建三个监督池:corrections池(参考在列表中但非top-1)教模型学会选择,regularizers池(top-1正确)抑制不必要重写,hard negatives池(参考缺失)防止幻觉。

  11. arXiv · NLP29

    ASSET:基于强化学习的自适应语音分片框架

    ASSET 提出基于强化学习的语音分片框架,将声学编码器输出压缩为连续音频 token,在 LibriSpeech 上以更少 token 接近字符边界基准性能。 框架使用 GRPO 训练分片器,结合任务表现反馈与 token 率惩罚,Mandarin AISHELL 上优于音素边界基准。 实验表明该框架可适应非 ASR 任务,自适应改变分片策略。

10月12日周一
  1. arXiv · NLP25

    EAVA:通过适配器唤醒编码器以实现语音大模型的有效领域自适应微调

    提出 EAVA 方法,通过在语音编码器各层插入轻量适配器并单独训练,解决目标领域数据有限时语音大模型(Speech-LLM)领域适应性不足的问题。 实验显示,EAVA 在涵盖儿童语音和方言语音的 3 个领域偏移自动语音识别(ASR)数据集上,性能持续优于常规微调及其他基线模型。

  2. arXiv · AI23

    DEAF:音频大语言模型声学忠实度诊断基准

    研究引入基准DEAF,包含2,700多个冲突样本,用于诊断音频多模态大语言模型是否真正处理声学信号。 该基准覆盖情感韵律、背景声音和说话人身份三个声学维度。 评估七款Audio MLLMs发现,尽管模型对声学变化敏感,但其预测主要受文本输入驱动,显示出标准语音基准高分与真实声学理解之间存在差距。

  3. arXiv · NLP20

    M3-DuplexBench:面向全双工口语对话模型的多轮、多语言、多领域基准

    M3-DuplexBench 提出了一种针对全双工口语对话系统(FDSDS)的多轮、多语言、多领域评估基准。 该基准在英语和日语的休闲对话及多轮问答场景中,联合评估交互时序与响应内容,并支持跨语言对比。 实验结果显示了不同 FDSDS 模型在交互模式、语言及领域上的差异,该基准已公开可用。

  4. arXiv · NLP20

    OpenPA:无强制对齐的多粒度发音评估框架,基于Whisper交叉注意力与混合转录适配

    OpenPA提出基于Whisper交叉注意力机制的新框架,无需强制对齐即可联合预测词级和语句级发音分数,并在单一模型内支持闭卷和开卷场景。 模型仅使用speechocean762训练,在域内闭卷和模拟开卷条件下取得最强整体性能,零样本泛化至MultiPA,并在口腔癌语音任务上展现跨任务潜力。 框架已被提交至ICASSP 2027。

  5. arXiv · NLP27

    低资源 ASR 中数据增强的成本与互补机制分析

    该研究在低资源 ASR 场景中对比了 SpecAugment 和基于文本的数据增强方法,发现二者在音素级错误上具有互补性。 SpecAugment 会增加声调和腭化错误,而文本法引入辅音插入;组合使用时,基于文本的方法使低频音素频率提升 37%-38%,抵消了对方的错误。 这种超加性效应仅在 100 小时数据以下的低资源阶段显著存在,建议通过训练暴露度和声学特性来预筛选增强策略。

  6. arXiv · NLP33

    语音大模型个性化是否导致刻板印象?新基准测试揭示识别与应用的错位

    研究提出基准测试 BASIS-Bench,评估 8 个语音大模型在个性化与刻板印象间的表现。结果显示,模型虽能识别人口统计线索,却大多无法将其转化为适当的个性化回应。 测试发现,显性的人口统计标签虽能提升个性化效果,但会放大文本骨干中固有的刻板关联。该研究指出,需训练模型学习何时应用人口统计线索,而非仅识别它们。

  7. arXiv · ML36

    TTS-Q:面向文本转语音扩散Transformer的说话人感知后训练量化方法

    针对零样本TTS模型量化后音色受损问题,研究团队提出TTS-Q方法,在1B和3.5B模型上实现无损理解力的音色恢复。该方法通过混合精度调度,为扩散Transformer后期的前馈激活层分配更高精度,以抵消权重和激活量化带来的音色漂移。该技术显著降低GPU峰值内存占用,为资源受限场景下的实时TTS部署提供实用参考。

  8. arXiv · ML22

    CircuitTree:组合电路构建音节转写器

    研究提出 CircuitTree 数据结构与贪心密度缩放组合算法,将 HuBERT 剪枝出的 39 个音素电路组合为音节分类器。 该模型通过层级化电路流水线转写开音节,准确率达 64.8%,接近 66.0% 的天花板,且 99.5% 组件被共享,证明电路组合可实现单一电路不具备的能力。

10月9日周五
  1. arXiv · ML20

    语音质量指标的可被操控性评估:修正协议与基准测试

    语音质量预测器的常用抗攻击度量存在缺陷,未考虑神经编解码器处理链导致的分数偏移,且单一攻击者测试无法代表最坏情况。 在修正协议下,NISQA 语音被 90% 句子的攻击攻破,SSL-MOS 为 21%,DNSMOS 为 14%,UTMOS 为 6%。 现有的检测修补闭环在域外场景下会导致最高 0.30 的 SRCC 性能损失。

  2. arXiv · NLP24

    FA-Bench:面向强制对齐与 ASR 的音素及单词级时间戳准确性基准

    FA-Bench 发布统一评测框架,纳入 21 个开源模型与 9 个商用 API,采用基于容忍度的 F1 指标修正 MAE 导致的 9% 至 14% 分数膨胀。 该基准将边界按位置和邻词识别状态分组,发现 Whisper 系统性提前约 150 ms,多个商用 ASR API 延迟超 50 ms。 通过固定文本归一化与评分脚本,解决现有对比因数据分割和边界匹配方式不同导致结果无法直接比较的问题。

  3. arXiv · NLP22

    预训练自监督语音模型能识别未见过的辅音

    微调 Wav2Vec2 和 HuBERT 模型后,其在两个富含 click 辅音的 Khoisan 语言数据上的结果显示,模型识别 click 辅音的准确率始终高于非 click 辅音。这一结果表明,自监督学习赋予了模型跨人类语音声学生成的泛化能力,即使是对于罕见音位也能有效识别。 该研究针对训练数据中低资源语言代表性不足的问题,验证了自监督模型在识别跨语言罕见语音特征时的有效性。

  4. arXiv · NLP24

    DiffuPlex:通过滚动掩码扩散加速全双工语音对话模型

    DiffuPlex 提出滚动掩码扩散框架,通过单次骨干唤醒预测多个未来帧,显著减少全双工语音对话模型中的顺序计算。 在部署路径上,DiffuPlex-LISTEN 和 DiffuPlex-SPEAK 分别实现 1.46 倍和 1.59 倍的墙钟加速,核心 LM 加速分别为 1.61 倍和 1.80 倍,且所有骨干调用均在 80ms 交互间隔内完成。

  5. arXiv · NLP30

    SteerablePlex:全双工模型的可控性探索

    研究提出 SimIF-Bench 基准与基于 GDPO 的训练配方,解决全双工模型随对话历史增长而难以控制的问题。 SteerablePlex 连接异步后端语言模型以提供指令,比现有开源模型及 GPT-Realtime 更可靠地遵循多阶段约束。 该方法使模型在保持对话轮次能力的同时遵循文本指令,提升了作为用户模拟器的评估可靠性。

  6. arXiv · NLP29

    EgoVoice:基于自我中心多模态流的主动语音助手框架

    EgoVoice 提出了一种训练和评估主动自我中心语音助手的框架,利用 HoloAssist 视频构建数据,通过微调全模态 LLM 和直接偏好优化,显著提升了干预时机和内容相关性。 该研究使用源分离和语音重合成技术生成干净音频流,使模型能自主决定何时说话。 实验证明 EgoVoice 优于零样本基础模型,并被 EMNLP 2026 主会接受。

  7. arXiv · NLP23

    Prosody-to-Text: 通过低通滤波语音预测文本

    研究利用低通滤波语音预测文本,微调 Whisper 模型仅使用 12 个最低 Mel bins(约 450Hz 截止频率)。 整体 WER 达 36%,10% 语句完美恢复,40% 语句 WER 低于 25%;给定正确前缀时,下一个 token 预测准确率为 79%。 结果表明低频语音特征与词汇内容关联强于预期,可为 LLM 文本生成提供新应用方向。

  8. arXiv · NLP29

    多语言语音解析中中间神经元的修剪研究

    移除语音解析模型中的中间神经网络单元,可将参数量减少12%,且在ASR和解析任务中性能与之前方法相当或更优。 该架构简化方案在法语及斯洛文尼亚语、尼日尔皮钦语等低资源语言上得到验证,并探讨了预训练编码器冻结及训练数据规模的影响。 该工作将发表于EMNLP 2026 Findings。

  9. arXiv · NLP22

    Local Prototype Reconstruction(LPR)用于语音-LLM 桥接预训练

    研究提出本地原型重建(LPR)正则化器,提升多语言 ASR 和语音翻译中语音-LLM 桥接的迁移能力,尤其在低资源场景下增益显著。 LPR 要求对齐的桥接 token 可从冻结 LLM 嵌入的局部邻域中重建,并证明该词法流形兼容性与下游性能正相关。 该方法无需修改模型结构,为可复用桥接初始化提供了可量化的诊断标准。

  10. arXiv · NLP26

    tau-Voice 用户模拟器中的提示词与规则法:语音自然度行为审计与控制

    研究审计了 LLM 提示法 tau-Voice 与规则注入算法在模拟语音自然度行为(如冗余、打断、回应)上的表现,发现 LLM 提示法不可靠且语音与指令不一致。 相比之下,无模型规则算法能生成更符合自然语音的可控且多样化行为。结果表明,未经专项训练的 LLM 不足以模拟真实用户行为,需通过审计实际行为而非配置来识别差距。