跳到正文
10月16日周五
10月15日周四
  1. arXiv · ML23

    基于能量模型的非自回归语音合成方法

    该研究将能量模型(EBM)引入非自回归语音合成,利用噪声对比估计(NCE)结合正负样本比较进行训练。 提出利用高性能自回归模型生成负样本的策略,并通过 Langevin MCMC 采样建立 EBM 与扩散模型的关联。 在 LJSpeech 数据集上验证,该方法性能优于 Tacotron 2,相关成果已被 ICASSP 2024 接收。

  2. arXiv · NLP26

    几何对齐不等于功能等价:语音-文本模态差异的逐层分析

    研究发现 Qwen2.5-Omni 和 MiniCPM-o 等模型中,中间层语音与文本表征几何对齐,但深层答案边际仍有差异,表明几何对齐不隐含功能等价。 具体而言,Qwen2-Audio 表现出较弱的对齐特征,提示不同的故障模式;注意力干预实验证实晚期注意力分配对答案码分离有因果影响,且压缩语音信号可修复部分仅出现在语音中的错误。

  3. arXiv · NLP21

    冻结仿射场 AFFIRM 修复语音访问:PopQA 无显著优势,SLUE-SQA 提升 0.0941

    提出 AFFIRM 修复器在单遍推理中通过冻结检查点修复语音访问。在平衡的合成 PopQA 上,AFFIRM 未表现出显著优势。 在 SLUE-SQA-5 数据集上,无需重新适配的 AFFIRM 算子使 ROUGE-L 提升了 0.0941。低秩 ReFT 同样有效,但 SALSA 变体性能下降。 验证了文本获取与语音访问在模型更新后可能分化,需单独修复。

  4. arXiv · NLP40

    ELARSpeech:覆盖 675 种未代表语言的 30,202 小时大规模多语言语音数据集发布

    研究团队发布 ELARSpeech,该数据集包含 675 种未代表语言的 30,202 小时语音,源自濒危语言档案库。 数据结合人工标注与无标签录音,实验显示其可支持将 ASR 和 TTS 能力扩展至这些语言,且对无标签数据进行伪标签能带来额外收益。 论文公开了数据集、所有训练好的 ASR 和 TTS 模型及完整的数据构建流程,旨在为长尾多语言语音技术提供资源和测试平台。

  5. arXiv · NLP20

    CAFE:将特征蒸馏限制在语言路由适配器中以实现紧凑多语言自动语音识别

    研究提出 CAFE 方法,通过限制 CKA 梯度在英语绕过的适配器中解决多语言 ASR 的蒸馏矛盾,在 Open ASR Leaderboard 上平均 WER 从 8.55% 降至 8.02%。 该方法基于发现 CKA 梯度与英语子空间重叠率达 97.5%-99.5% 的分析,在 254M 参数规模下落后 0.6B 教师模型 2 个 WER 点,但在 24 种语言的 48 个测试集上具有竞争力。

10月14日周三
  1. Qoder69

    Qoder 集成千问AI耳夹式耳机,支持语音控制与 Computer Use

    Qoder 已集成到千问AI耳夹式耳机中。用户通过耳机唤醒 Qoder 后,可语音指令继续推进电脑上的未完成任务,或通过 Computer Use 功能让 Agent 像人一样操作屏幕、点击鼠标和敲键盘来完成具体事务。耳机支持全双工语音交互,允许用户在 Qoder 说话时随时插话修正指令。

    推荐理由:耳机与Agent结合,允许用户通过语音指令继续电脑上的任务,并直接操作电脑完成具体事务。

  2. arXiv · AI41

    Auto-AEG:面向开放词汇音频事件定位的可扩展数据构建方法

    该研究提出 Auto-AEG 管道,通过自动数据构建与模型微调解决开放词汇音频事件定位中的数据稀缺瓶颈。 利用程序合成片段提供冷启动监督,并结合真实音频的多模型伪标签强化学习,显著提升大音频语言模型的时间定位能力。 该方法在 AEGBench 等基准测试中展现出显著的时间定位增益,并泛化至多种留出声源检测任务。

  3. arXiv · ML27

    NAVIR:面向边缘硬件的类脑视听语音识别系统

    论文提出 NAVIR 系统,在 BrainChip Akida 上实现端到端视听语音识别,这是该类神经形态硬件上首个完整的多模态 AVSR 流水线。 系统在 GRID 基准下噪声环境词错率达 14.0%,较纯音频基线提升显著;能耗比树莓派低 5 倍,比笔记本 GPU 低 100 倍以上,维持 14.5 次/秒推理。 显著降低边缘设备能耗,提升工业环境人机交互鲁棒性。

  4. arXiv · AI20

    CodecFlow:基于条件流匹配的神经编解码潜空间带宽扩展框架

    CodecFlow 提出了一种基于神经音频编解码的带宽扩展(BWE)框架,通过条件流匹配在紧凑潜空间实现高效语音重建。 该框架采用感知音高(voicing-aware)条件流转换器和结构约束残差向量量化器(RVQ)以改善潜空间对齐稳定性。在 8 kHz 至 16 kHz 及 44.1 kHz 的语音 BWE 任务中,CodecFlow 展现了高保真频谱质量和增强的感知质量。

  5. arXiv · NLP42

    DELTA-TTS:将自回归 TTS 模型适配为离散扩散语言模型

    DELTA-TTS 将预训练自回归 TTS 模型转化为离散扩散语言模型,在 Seed-TTS test-en 上实现 1.75% WER,生成速度提升 3.3 倍。 框架基于轻量 LoRA 适配,引入卷积模块、1/t 加权训练目标与时间偏移推理调度,仅使用 585 小时 LibriTTS 数据训练。 该方法缓解自回归生成的幻觉问题,提升文本-语音对齐与解码置信度,音频样本、代码及权重已开源。

  6. arXiv · ML28

    边缘部署音频LLM智能体安全风险分析综述:从声学感知到物理动作

    该综述针对边缘部署的音频大语言模型智能体,提出了声学感知到动作(S2A)系统模型,以追踪安全影响路径。模型综合了现有声学、智能体及边缘系统文献,分析跨组件及阶段转换中的安全缺口。该发现要求跨持久状态、系统边界和部署条件,对声学影响进行从感知到动作的端到端安全评估。

  7. arXiv · ML23

    LiveAnon 如何利用编码语言模型改善流式说话人匿名化的隐私与效用

    LiveAnon 提出一种基于语音转换的流式说话人匿名化系统,通过直接条件化自回归编码语言模型于预训练流式 ASR 编码器的隐藏特征,在无需情绪特定监督的情况下保留情绪。 该系统引入有界 RVQ 解码以降低延迟,在 VPC24 基准中比固定目标 Stream-Voice-Anon 具有更高的可懂度和情绪保留,并实现流式系统中最强的半知情隐私;在 VPC26 中各项指标排名第二。

  8. arXiv · AI25

    构建印地语等十种语言跨语言 TTS 基准及推理时时长估计策略

    针对无对齐 TTS 模型在跨语言场景下的时长失配问题,研究构建了覆盖英语及 9 种印度语言的跨语言评估基准。 提出语言感知的推理时时长估计策略,通过引入特定语言的每字符时长统计来优化 A-DMA 模型。 该策略无需重新训练或修改架构,即显著提升了语音的自然度、可懂度及说话人相似度,相关资源已公开。

  9. arXiv · AI23

    AlignAudio:噪声鲁棒语音条件生成的双对齐框架

    AlignAudio 提出双对齐噪声鲁棒生成框架,在语音转音频(STA)和语音转换(VC)任务中,于多种噪声条件下显著优于基线模型。 框架包含语义保持对齐与流匹配生成一致性约束,支持单流与多流语音条件,可集成至不同 flow matching 生成架构及后训练设置。

  10. arXiv · NLP35

    JAL-Turn: 全双工语音对话系统中基于联合声学-语言建模的实时轮次切换检测

    JAL-Turn 是一种轻量级语音轮次切换检测框架,通过跨注意力模块自适应融合预训练的声学与语言表征,实现低延迟的保持或切换预测。 该框架共享冻结的 ASR 编码器,使轮次切换预测与语音识别完全并行,几乎不增加端到端延迟;实验表明其在 Easy-Turn、Smart-Turn 基准及日本客服数据集上检测精度具有竞争力,且实时性能更优。

  11. arXiv · NLP75

    Fish Audio Drama 3 技术报告发布

    Fish Audio 开源了基于 35B 参数 MoE 架构的语音生成模型 Fish Audio Drama 3。该模型能根据自然语言指令生成多角色长对话,支持多轮修改、语音编辑及流式输入,其专属音频解码器可将推理速度提升至 271 帧/秒,已发布至 GitHub 和 Hugging Face 并支持 SGLang-Omni 部署。

    推荐理由:报告详细解析了单模型实现多轮剧本修改、声线克隆及SGLang-Omni流式推理的架构设计与完整技术路线。

  12. arXiv · NLP21

    词对齐韵律反映说话者差异多于抑郁症或PTSD严重度

    研究在四个语料库中发现,尽管平均后的说话者韵律分数高度一致(如ESD达0.997),但其与抑郁症或PTSD严重度的关联未超过0.15。 词级韵律在不同语境下的复现性很低(0.01-0.16),且等效性测试排除了0.30及以上效应。代码已公开,证实聚合韵律无法检测相关疾病严重度。

  13. arXiv · NLP21

    语音基础模型中利用语言选择性维度检测语码转换

    提出一种基于预训练语音编码器检测语码转换的轻量方法。 该方法通过识别单语录音中的语言选择性隐藏状态维度,结合帧级激活预测语码转换,Whisper-small 编码器在 CS-FLEURS 的 14 个语言对平均 F1 达 0.798。 此方法无需依赖多语转录,有助于构建更具代表性的多语训练语料库。

  14. arXiv · AI30

    理解 Whisper ASR 中的个性化增益

    研究发现 Whisper 大语言模型的 LoRA 微调增益并非均匀分布,且池化 LoRA 常能匹配甚至优于组特定 LoRA。 研究覆盖 Common Voice、LibriSpeech 和 VoxPopuli 数据集,发现增益集中于 Common Voice 困难组,在低误差的 LibriSpeech 上几乎消失。 结论指出,在解释个性化证据前,应将零样本增益与匹配的池化适应进行对比。

  15. arXiv · NLP38

    已知声音克隆与虚拟角色设计中的个性迁移局限

    两项研究表明,克隆熟悉人的声音用于虚拟角色时,个性印象的迁移是有限的,并未系统性地让受众将虚拟角色视为有能力的社会行为者。 研究发现效果具有选择性且无法在不同特质或研究情境间泛化;在线研究中,可识别的声音线索仅激活了说话者预期,未重构完整的个人印象,且判断常受感知人工性及声貌匹配度影响。