跳到正文
10月17日周六
10月16日周五
  1. arXiv · NLP23

    基于 Transformer 的早期语音识别系统实现孟加拉语语音病句自动补全

    该研究提出整合系统,通过孟加拉语语音文本分析检测痴呆症状,并实现对话中的句子自动补全。 使用 Transformer 模型将语音转录为文本,LSTM 架构在分类任务中表现良好。 采用 Bi-LSTM 网络结合注意力机制,对孟加拉语未完整句子进行序列补全,填补小语种研究空白。

  2. arXiv · NLP27

    PEDBench:语音模型能否检测语音错误?

    PEDBench 是首个覆盖从自然到受控语音连续性的语音错误检测(PED)基准。 该基准包含 334 条儿童真实录音、1,188 条人工脚本错误发音及 1,083 条合成错误发音,数据经两名受过语音学训练的标注员双重校验。 对 13 个最先进语音模型的评估显示,即便在受控条件下,模型仍无法可靠检测语音错误,且精确度较低,常将正确发音误判为错误。

  3. arXiv · AI38

    ELLSA 2:端到端全双工对话模型实现语音、表情与手势的联合优化

    ELLSA 2 是一款端到端全双工对话模型,联合优化语音交互与流式手势表情生成,在对话感知手势指标上优于级联基线。 模型采用自回归分块合成器结合预训练声学特征,并通过上下文语义调用与模板指导将对话理解转化为语义手势。 该研究将对话建模从单纯的口语回复推进至协调的多模态交互。

  4. arXiv · AI35

    CoSTA: 通过压缩语音令牌适配实现高效口语对话模型

    CoSTA 提出了一种保持兼容性的事后框架,将生成与合成的语音令牌空间解耦,在保留原始语音令牌器和解码器的同时,实现了约 1.7 倍的扩展语音令牌生成速度提升,并降低了全响应延迟。 该框架通过均值初始化的词汇扩展、发音适配和对话适配,将压缩表示确定性扩展回原始语音令牌空间进行合成。实验表明其在双语文言对话基准测试中保持了响应质量,并展示了跨架构迁移能力以及与低速率分词化的互补性。

  5. arXiv · AI34

    全双工语音语言模型参考引导轮次切换风格迁移研究

    该研究识别出全双工语音模型中控制发言比率的“倡议向量”,实现无需训练的轮次切换风格迁移。通过缩放该向量,模型发言比率可从6-12%或21-30%调整至42-61%,并提前800毫秒预测说话起始。 短参考录音即可迁移特定说话人的风格,风格迁移具有参考特异性,且该机制已被提交至ICASSP 2027。

  6. arXiv · AI25

    MixtureTT:基于扩散模型的多声部音色迁移系统

    MixtureTT 提出首个从复调混合音直接进行独立声部音色迁移的系统,无需先分离声部。 该系统采用联合声部扩散 Transformer(Joint Stem Diffusion Transformer),在单次联合扩散过程中生成所有声部,避免了级联分离误差。 在合成与真实音频的 SATB 基准测试中,其表现优于传统的先分离后迁移流程。

  7. arXiv · AI28

    ACR-Net 通过对比声语义解耦缓解语音情感识别中的语义主导问题

    ACR-Net 利用 Cross-Modal Attention 和 Contrastive Decoupling Loss 将矛盾表示解耦至正交隐空间,缓解了 SER 模型中的语义主导(Semantic Dominance)偏差。 实验在 ASPIRE 基准测试中显示,ACR-Net 在极性冲突下保持高潜变量解耦度(LDD),使语义过度自信惩罚(SOP)接近零,提升了声学准确率(ACC)。

  8. IT之家60

    小米开源空间音频理解大模型 MiDashengLM-Spatial,赋予模型感知声音空间分布能力

    小米于 10 月 15 日开源 MiDashengLM-Spatial 大模型,提供完整权重与推理代码,采用 Apache 2.0 许可证。该模型基于 MiDashengLM-7B 构建,首次实现了开源端到端的空间音频理解,不仅识别声音内容,还能判断声音来源及空间分布。小米计划将其应用于智能家居和汽车座舱等场景。

  9. Tibo (X)36

    OpenAI 更新 GPT-Live-1.1 语音

    新音色、更地道的口音、更少的“加载中”等待。OpenAI 为 ChatGPT、Codex 和 Dots 的语音功能更新了 GPT-Live-1.1,新增法语、德语、印地语、墨西哥西班牙语、韩语和日语音色,今日向所有用户推出,API 即将上线。 反应:Bonjour。

  10. Hacker News AI30

    Bold Agent Kit 研究:1.4 万通通话显示人类接线员在转化率上仍优于 AI

    Bold Agent Kit 分析约 1.4 万通电话发现,人类接线员在入线转化表现上比 AI 高约 4 倍。尽管 AI 处理的通话中无进展挂断率高出 700%,且人类接线员漏接率比 AI 高约 15%,但数据显示高接通率并不等同于更高的业务价值。 针对服务行业,企业应关注成功结果的成本效益,而非单纯比较劳动力支出。

10月15日周四
  1. arXiv · ML23

    基于能量模型的非自回归语音合成方法

    该研究将能量模型(EBM)引入非自回归语音合成,利用噪声对比估计(NCE)结合正负样本比较进行训练。 提出利用高性能自回归模型生成负样本的策略,并通过 Langevin MCMC 采样建立 EBM 与扩散模型的关联。 在 LJSpeech 数据集上验证,该方法性能优于 Tacotron 2,相关成果已被 ICASSP 2024 接收。

  2. arXiv · NLP26

    几何对齐不等于功能等价:语音-文本模态差异的逐层分析

    研究发现 Qwen2.5-Omni 和 MiniCPM-o 等模型中,中间层语音与文本表征几何对齐,但深层答案边际仍有差异,表明几何对齐不隐含功能等价。 具体而言,Qwen2-Audio 表现出较弱的对齐特征,提示不同的故障模式;注意力干预实验证实晚期注意力分配对答案码分离有因果影响,且压缩语音信号可修复部分仅出现在语音中的错误。

  3. arXiv · NLP21

    冻结仿射场 AFFIRM 修复语音访问:PopQA 无显著优势,SLUE-SQA 提升 0.0941

    提出 AFFIRM 修复器在单遍推理中通过冻结检查点修复语音访问。在平衡的合成 PopQA 上,AFFIRM 未表现出显著优势。 在 SLUE-SQA-5 数据集上,无需重新适配的 AFFIRM 算子使 ROUGE-L 提升了 0.0941。低秩 ReFT 同样有效,但 SALSA 变体性能下降。 验证了文本获取与语音访问在模型更新后可能分化,需单独修复。

  4. arXiv · NLP40

    ELARSpeech:覆盖 675 种未代表语言的 30,202 小时大规模多语言语音数据集发布

    研究团队发布 ELARSpeech,该数据集包含 675 种未代表语言的 30,202 小时语音,源自濒危语言档案库。 数据结合人工标注与无标签录音,实验显示其可支持将 ASR 和 TTS 能力扩展至这些语言,且对无标签数据进行伪标签能带来额外收益。 论文公开了数据集、所有训练好的 ASR 和 TTS 模型及完整的数据构建流程,旨在为长尾多语言语音技术提供资源和测试平台。

  5. arXiv · NLP20

    CAFE:将特征蒸馏限制在语言路由适配器中以实现紧凑多语言自动语音识别

    研究提出 CAFE 方法,通过限制 CKA 梯度在英语绕过的适配器中解决多语言 ASR 的蒸馏矛盾,在 Open ASR Leaderboard 上平均 WER 从 8.55% 降至 8.02%。 该方法基于发现 CKA 梯度与英语子空间重叠率达 97.5%-99.5% 的分析,在 254M 参数规模下落后 0.6B 教师模型 2 个 WER 点,但在 24 种语言的 48 个测试集上具有竞争力。

  6. IT之家80

    xAI 发布 Grok Voice 3.0,号称全球最智能的语音转语音模型

    xAI 发布 Grok Voice 3.0,官方称其为全球智能水平最高的语音转语音模型,拥有低于 1 秒的延迟。该模型在 Artificial Analysis 独立测试的语音转语音综合榜单中排名第一,得分 86.9;全双工基准测试得分 97%;在 ServiceNow EVA 基准测试中取得 74% 的最高精度得分。

    推荐理由:该稿件汇总了 Grok Voice 3.0 在第三方基准测试中的排名与延迟优势,为评估语音智能体落地价值提供了量化参照。

  7. TechCrunch · AI33

    YouTube Music 推出新标签系统以标识 AI 生成音乐

    YouTube Music 推出新标签系统,允许用户通过“Fully Gen AI”、“Partly Gen AI”或“No Gen AI”三种标识区分歌曲中 AI 的作用,并在播放页及主应用展示详情。 该标签旨在提高透明度而非限制变现,与 Spotify 和 TIDAL 的过滤策略不同,YouTube 强调披露而非全面禁止。