跳到正文
10月8日周四
  1. arXiv · NLP23

    WaveScat:结合自监督特征的波let散射前端用于语音深度伪造检测

    WaveScat 提出一种结合小波散射变换(WST)的语音特征提取器,在 Deepfake-Eval-2024 基准及 SpoofCeleb、In-the-Wild、ASVspoof 5 跨数据集评估中性能显著优于现有前端。 该模型通过级联小波卷积与模态非线性生成形变稳定、多尺度特征,分析表明小平均尺度结合高频和方向分辨率对捕捉细微伪影至关重要。

  2. arXiv · NLP35

    基于音素引导初始化的 LLM 语音识别方法

    针对低资源场景下语音大语言模型(speech LLM)性能下降的问题,研究提出了“音素引导初始化”方法,在端到端框架中利用音素中介特性优化 ASR 任务。 具体通过先在 S2P 任务上预训练音频编码器、在 P2G 任务上预训练 LLM,再连接并进行全模型端到端微调;实验覆盖日语 CSJ、中文 AISHELL-1 及 Common Voice 25.0 中的塔塔尔语和乌尔都语。

  3. arXiv · NLP25

    Moshi 全双工语音模型中的情绪激活引导研究

    研究在 Moshi 模型中采用均值差异激活引导,发现情绪可从残差流线性解码,但引导效果不均:happy、angry 和 surprise 趋向共享方向,而 sad 可独立引导。 该方法仅涉及每帧几次向量加法,无需重新训练,且三情绪共享成分无法被均匀投影移除。

  4. arXiv · NLP37

    流式说话人分离器小样本适配中的度量掩盖:遗忘似改进与排练代价

    基于 7.5 小时双人对话适配的流式分离器提升域内检测精度,但损害说话人身份归因。 适配在六个语料库评估中显示身份一致性受损,而非说话人数错误;局部重映射诊断揭示不同语料库的退化模式。 排练虽减轻退化,却降低跨域迁移性能,强调需联合评估检测、一致性与保留行为。

  5. arXiv · AI36

    WorldSonus:为生成式世界模型引入实时交互式空间音频

    研究团队推出 WorldSonus 框架,专为世界模型实现实时空间音频合成,RTF 低至 0.41。 该框架采用流式因果自回归扩散架构,结合音频中心字幕流水线与 chunk 索引提示调度,支持生成过程中的动态声音控制及立体声空间对齐。 实验显示,WorldSonus 在开放域视频到音频基准上性能匹配或超越最先进模型。

  6. arXiv · AI21

    多语言语音匿名化系统的声学与内容导向攻击漏洞研究

    研究表明多语言语音匿名化攻击效果依赖语言效用,声学导向攻击者整体表现优于内容导向攻击者。 当语言信息保留良好时,两类攻击者的性能差距显著缩小;构建的多语言语音转换数据集有效提升了跨语言泛化能力。 发现凸显了综合考量隐私与效用、建立更全面攻击评估协议的必要性。

  7. arXiv · AI47

    Jarvis: 面向多方对话的主动语音智能体

    Jarvis 是一个实时主动语音智能体,能参与多方对话并在群体遗漏或误述事实且未及时自纠时介入。 它基于预共享文档运行,利用小型开源权重模型加确定性检查,并在屏幕上展示引用证据。 在 CHI-180-proactive 评测中,Jarvis 在绝大多数介入事件中判断正确,且在群体自行解决问题时保持 97% 的沉默率。

  8. arXiv · AI28

    全双工语音模型在自导对话中的轮流机制研究

    全双工语音模型在自导对话中呈现时序耦合,但轮次切换较人类显著滞后。 两个 PersonaPlex-7B 实例在共享时钟下交换音频令牌,其中位切换延迟为 400-560 ms,远高于人类的 137 ms,且末段轮次转移占比极低。 这种反应式等待机制表明模型未能实现人类所需的轮次结束预判,可能限制其模拟自然人类对话的能力。

  9. arXiv · AI42

    PERSIST:用于全双工语音对话的跨会话Who-What-When记忆系统

    PERSIST提出了一种针对多会话、多说话人语音对话的持久记忆系统,通过3W联合评分机制结合语义、声学身份和时序状态进行检索,将检索延迟从578.42ms降至7.03ms。 系统引入SpokenTrace基准测试,PERSIST在此任务中达到85.08%的端到端任务准确率,并将BGE-large的EM@3指标从49.01%提升至82.10%。

10月7日周三
  1. arXiv · NLP24

    语音语言模型是否像人类一样“听”?基于真实语音数据探究声音象征性与感知对齐

    研究发现语音语言模型(SLMs)的听觉判断与人类感知对齐较差,且难以捕捉驱动人类直觉的声学线索如频谱倾斜。 开放权重模型无法可靠地将听到的声音与其对应形状建立联系。 实验表明感知对齐依赖于捕捉人类可听线索的语音表征,而非更强的视觉能力。

  2. arXiv · NLP32

    量化语音-文本语言模型中的生成模态差距

    研究基于流匹配的语音语言模型,构建统一评测套件比较纯语音、纯文本及语音-文本模型在匹配数据分布下的生成表现。实验表明,联合语音-文本建模显著提升了语义连贯性,但在手机 n-gram、说话人相似度及音质指标上改善有限甚至下降,而情感分布指标有所提升。结果显示文本提供了高效的语义训练信号,有助于弥合语音-文本模型在基于转录本的语义连贯性上的规模差距。

  3. arXiv · NLP42

    DyaFDB 框架发布:双体评估全双工对话模型

    针对全双工语音对话模型通常受限于单向测试的短板,该研究提出 DyaFDB 双体评估框架。 框架让两个模型在指定角色下直接互动,涵盖合作与冲突目标,共实例化 4 项任务、140 个场景,记录 7,560 次对话,并覆盖 6 种自我及跨模型配对。 验证了模型行为会持续重塑伙伴表现,因此每个模型必须同时充当考官与被试,发布将包含无预录音频的评估协议。

  4. arXiv · NLP25

    HINTT 在 MLC-SLM 挑战赛中对比级联与统一方法

    HINTT 提交系统用于第二届 MLC-SLM 挑战赛,对比级联流水线与统一 Speech LLM 在多语言说话人归属 ASR 中的表现。 最终提交基于级联流水线,包含微调的 DiariZen 说话人分离模型、微调的 Qwen3-ASR 模型及 LLM 生成的错误修正,并在相同官方数据上微调了 VibeVoice-ASR 作为统一模型对照。

  5. arXiv · NLP30

    动态激活引导改进噪环境下语音清晰度

    研究人员提出一种无需重训练的激活引导机制,利用提示相对引导防止效应累积,动态调整强度以生成更清晰的语音。 该方法基于 Lombard 效应,在可见与不可见说话者及多语言测试中,保持了 89-95% 的说话者相似度,并在 1 dB SNR 下将背景噪声中的 WER 降低了 7-22%。 这一结果表明预训练 TTS 模型可被动态控制以在噪环境中生成更清晰的语音。

  6. arXiv · NLP23

    ARIA:面向粤语填词、由音频驱动声调-旋律关系建模框架

    ARIA 是一个两段式音频驱动框架,用于从带时间戳的粤语音乐录音中生成粤语歌词。 它包含 TRATE 声调估计器(预测 0243 声调序列)和 DRA-TCLG 歌词生成器,并构建了大规模音频-粤拼-0243 对齐数据集。 实验表明 ARIA 在 0243 预测和声调一致的歌词生成上表现强劲,该方法已被 EMNLP 2026 Findings 接收。

  7. arXiv · NLP28

    EMODE:基于动态副语义专家的情绪感知语音语言模型

    EMODE 是一种情绪感知语音语言模型,其核心架构为动态副语义专家(DPSE)。 DPSE 将连续语音特征分解为语义和副语言通路,并动态路由融合。模型采用三阶段课程训练,结合正交专家引导(OEG)等机制。 在 SER 测试和新构建的双语 MEPA 基准上,EMODE 提升了词汇保真度与情感敏感度的平衡。

  8. arXiv · ML29

    VoxReason:合成前审计基于来源的语音计划基准

    VoxReason 提供包含 100 个案例的验证基准,通过固定语句并编辑特定来源标签线索,评估引用证据及八个计划字段。 在 24 个源键不相交测试中,来源情绪先验的计划槽位准确率为 0.958,但必需变更准确率仅为 0.000。 基准仅评估派生标签和结构化计划,不处理音频输入、生成语音或听者判断。

  9. arXiv · ML45

    研究发现语音克隆并非忠实复制而是风格迁移

    研究指出常用语音克隆模型并未忠实克隆声音,而是系统性地将源语音转换为更权威、更亲切且具有客服感的风格。 人类标注者报告对克隆语音的信任度更高,并更愿意向其透露敏感个人信息,表明该技术存在潜在行为影响风险。 研究还发现语音克隆导致口音、语速和音频嵌入空间中的说话人特征方差减小,造成语音同质化。

  10. arXiv · ML34

    S3M语音模型发现音系向量算术

    自监督语音模型(S3M)编码具有音系可解释性,支持音系向量算术。 研究覆盖96种语言,证实模型表示空间存在对应音系特征的线性方向,且向量尺度与声学实现程度连续相关。 该成果已被ACL 2026 Findings接收,代码和交互式演示已公开。

  11. arXiv · ML28

    RAVE与EnCodec音频解码器特征编码分析:输入、深度与分布效应

    对RAVE和EnCodec解码器的系统性分析表明,合成刺激在音高(|ρ|=0.45)和BPM(|ρ|=0.76)编码上表现优于自然音频。 解码器中间层联合编码能力增强,非线性探针使自然音频的跨特征平均R²达0.56,较线性探针提升0.152。 最佳跨层聚类改善了BPM编码强度(r=0.65)与普及度(r=0.75),推进了神经音频模型的可解释性与控制策略。

10月6日周二
  1. arXiv · NLP22

    越南语ASR采用结构化音位建模

    该研究提出针对越南语ASR的结构化音位方法,将输出从表面音素转为抽象音位三元组(声母、韵母、声调),以实现文本确定性重建。 在LSVSC和UIT-ViMD基准上,最佳模型WER分别为5.83%和12.58%,优于正字法及既有音素方法。 结果显示该方法提升了词汇覆盖率并降低了对词频模式的依赖,在各方言中表现一致。

  2. arXiv · NLP31

    语音语言模型免训练任务特化:基于对比激活添加的方法

    该研究提出免训练的对比激活添加(CAA)协议,通过少量标注语音生成引导向量,在推理时优化语音语言模型(SpeechLLMs)在转录等任务上的表现。 与仅使用提示词相比,添加引导向量在自动语音识别和情绪识别等任务中带来一致提升,并具备跨域迁移能力。 证明了脚本归一化方向可有效强制特定语言的目标书写系统。

  3. arXiv · AI22

    HIR-SDD:用人类启发式推理提升语音深度伪造检测鲁棒性

    研究者提出 HIR-SDD 语音深度伪造检测框架,将大型音频语言模型(LALMs)与基于新构建人工标注数据集的思维链推理相结合,实验验证了方法的有效性及其为预测提供合理解释的能力。 现有 SDD 方法普遍缺乏对新音频域和生成器的泛化能力,且缺少可解释性,难以给出人类可感知的伪造线索。 该框架旨在同时提升检测鲁棒性与预测的可解释性。

  4. arXiv · AI32

    CavaBench:金融语音助手的英国口音鲁棒性评测

    研究提出 CavaBench——首个内部采集的口语金融查询基准,用于评测 ASR 模型及端到端 ASR-LLM 流水线在自报英国口音下的表现。 WER 与下游工具调用准确率强相关(r = -0.93),但未必反映任务级表现;苏格兰、爱尔兰、威尔士口音引发的错误会传至 LLM 阶段,破坏工具调用参数,而部署还需满足延迟与内存预算。 相关发现可指导设计更包容、可靠的语音金融助手。