跳到正文
10月8日周四
10月7日周三
  1. arXiv · NLP24

    语音语言模型是否像人类一样“听”?基于真实语音数据探究声音象征性与感知对齐

    研究发现语音语言模型(SLMs)的听觉判断与人类感知对齐较差,且难以捕捉驱动人类直觉的声学线索如频谱倾斜。 开放权重模型无法可靠地将听到的声音与其对应形状建立联系。 实验表明感知对齐依赖于捕捉人类可听线索的语音表征,而非更强的视觉能力。

  2. arXiv · NLP32

    量化语音-文本语言模型中的生成模态差距

    研究基于流匹配的语音语言模型,构建统一评测套件比较纯语音、纯文本及语音-文本模型在匹配数据分布下的生成表现。实验表明,联合语音-文本建模显著提升了语义连贯性,但在手机 n-gram、说话人相似度及音质指标上改善有限甚至下降,而情感分布指标有所提升。结果显示文本提供了高效的语义训练信号,有助于弥合语音-文本模型在基于转录本的语义连贯性上的规模差距。

  3. arXiv · NLP42

    DyaFDB 框架发布:双体评估全双工对话模型

    针对全双工语音对话模型通常受限于单向测试的短板,该研究提出 DyaFDB 双体评估框架。 框架让两个模型在指定角色下直接互动,涵盖合作与冲突目标,共实例化 4 项任务、140 个场景,记录 7,560 次对话,并覆盖 6 种自我及跨模型配对。 验证了模型行为会持续重塑伙伴表现,因此每个模型必须同时充当考官与被试,发布将包含无预录音频的评估协议。

  4. arXiv · NLP25

    HINTT 在 MLC-SLM 挑战赛中对比级联与统一方法

    HINTT 提交系统用于第二届 MLC-SLM 挑战赛,对比级联流水线与统一 Speech LLM 在多语言说话人归属 ASR 中的表现。 最终提交基于级联流水线,包含微调的 DiariZen 说话人分离模型、微调的 Qwen3-ASR 模型及 LLM 生成的错误修正,并在相同官方数据上微调了 VibeVoice-ASR 作为统一模型对照。

  5. arXiv · NLP30

    动态激活引导改进噪环境下语音清晰度

    研究人员提出一种无需重训练的激活引导机制,利用提示相对引导防止效应累积,动态调整强度以生成更清晰的语音。 该方法基于 Lombard 效应,在可见与不可见说话者及多语言测试中,保持了 89-95% 的说话者相似度,并在 1 dB SNR 下将背景噪声中的 WER 降低了 7-22%。 这一结果表明预训练 TTS 模型可被动态控制以在噪环境中生成更清晰的语音。

  6. arXiv · NLP23

    ARIA:面向粤语填词、由音频驱动声调-旋律关系建模框架

    ARIA 是一个两段式音频驱动框架,用于从带时间戳的粤语音乐录音中生成粤语歌词。 它包含 TRATE 声调估计器(预测 0243 声调序列)和 DRA-TCLG 歌词生成器,并构建了大规模音频-粤拼-0243 对齐数据集。 实验表明 ARIA 在 0243 预测和声调一致的歌词生成上表现强劲,该方法已被 EMNLP 2026 Findings 接收。

  7. arXiv · NLP28

    EMODE:基于动态副语义专家的情绪感知语音语言模型

    EMODE 是一种情绪感知语音语言模型,其核心架构为动态副语义专家(DPSE)。 DPSE 将连续语音特征分解为语义和副语言通路,并动态路由融合。模型采用三阶段课程训练,结合正交专家引导(OEG)等机制。 在 SER 测试和新构建的双语 MEPA 基准上,EMODE 提升了词汇保真度与情感敏感度的平衡。

  8. arXiv · ML29

    VoxReason:合成前审计基于来源的语音计划基准

    VoxReason 提供包含 100 个案例的验证基准,通过固定语句并编辑特定来源标签线索,评估引用证据及八个计划字段。 在 24 个源键不相交测试中,来源情绪先验的计划槽位准确率为 0.958,但必需变更准确率仅为 0.000。 基准仅评估派生标签和结构化计划,不处理音频输入、生成语音或听者判断。

  9. arXiv · ML45

    研究发现语音克隆并非忠实复制而是风格迁移

    研究指出常用语音克隆模型并未忠实克隆声音,而是系统性地将源语音转换为更权威、更亲切且具有客服感的风格。 人类标注者报告对克隆语音的信任度更高,并更愿意向其透露敏感个人信息,表明该技术存在潜在行为影响风险。 研究还发现语音克隆导致口音、语速和音频嵌入空间中的说话人特征方差减小,造成语音同质化。

  10. arXiv · ML34

    S3M语音模型发现音系向量算术

    自监督语音模型(S3M)编码具有音系可解释性,支持音系向量算术。 研究覆盖96种语言,证实模型表示空间存在对应音系特征的线性方向,且向量尺度与声学实现程度连续相关。 该成果已被ACL 2026 Findings接收,代码和交互式演示已公开。

  11. arXiv · ML28

    RAVE与EnCodec音频解码器特征编码分析:输入、深度与分布效应

    对RAVE和EnCodec解码器的系统性分析表明,合成刺激在音高(|ρ|=0.45)和BPM(|ρ|=0.76)编码上表现优于自然音频。 解码器中间层联合编码能力增强,非线性探针使自然音频的跨特征平均R²达0.56,较线性探针提升0.152。 最佳跨层聚类改善了BPM编码强度(r=0.65)与普及度(r=0.75),推进了神经音频模型的可解释性与控制策略。

  12. Hacker News AI30

    LanguageLine 引入 NiCE 系统后,AI 未取代口译员但恶化其工作条件

    LanguageLine 部署以色列美国公司开发的 NiCE AI 劳动力管理软件后,口译员的工作节奏加剧,最低通话间隔压缩至 15 秒。 此前口译员拥有数分钟间隔,现在休息时间随机变动且班次被删减,导致高倦怠率和颈部疼痛。 公司称运营已恢复正常,但调查指出 AI 正在侵蚀口译员的工作质量而非直接取代岗位。

  13. Hacker News AI23

    Prevo:针对签证、公民、求职和融资准备的 AI 语音模拟面试应用

    Notside, LLC 推出 Prevo 语音练习应用,支持 US 签证、公民身份、融资路演及求职四类场景。 提供 7 种语言支持,无限免费 Quiz Mode 语音练习采用一次性买断模式,含 2 至 40 节套餐。 明确声明非法律或政府服务,仅通过模拟提供清晰度与信心反馈,不承诺结果。

10月6日周二
  1. arXiv · NLP22

    越南语ASR采用结构化音位建模

    该研究提出针对越南语ASR的结构化音位方法,将输出从表面音素转为抽象音位三元组(声母、韵母、声调),以实现文本确定性重建。 在LSVSC和UIT-ViMD基准上,最佳模型WER分别为5.83%和12.58%,优于正字法及既有音素方法。 结果显示该方法提升了词汇覆盖率并降低了对词频模式的依赖,在各方言中表现一致。

  2. arXiv · NLP31

    语音语言模型免训练任务特化:基于对比激活添加的方法

    该研究提出免训练的对比激活添加(CAA)协议,通过少量标注语音生成引导向量,在推理时优化语音语言模型(SpeechLLMs)在转录等任务上的表现。 与仅使用提示词相比,添加引导向量在自动语音识别和情绪识别等任务中带来一致提升,并具备跨域迁移能力。 证明了脚本归一化方向可有效强制特定语言的目标书写系统。

  3. arXiv · AI22

    HIR-SDD:用人类启发式推理提升语音深度伪造检测鲁棒性

    研究者提出 HIR-SDD 语音深度伪造检测框架,将大型音频语言模型(LALMs)与基于新构建人工标注数据集的思维链推理相结合,实验验证了方法的有效性及其为预测提供合理解释的能力。 现有 SDD 方法普遍缺乏对新音频域和生成器的泛化能力,且缺少可解释性,难以给出人类可感知的伪造线索。 该框架旨在同时提升检测鲁棒性与预测的可解释性。

  4. arXiv · AI32

    CavaBench:金融语音助手的英国口音鲁棒性评测

    研究提出 CavaBench——首个内部采集的口语金融查询基准,用于评测 ASR 模型及端到端 ASR-LLM 流水线在自报英国口音下的表现。 WER 与下游工具调用准确率强相关(r = -0.93),但未必反映任务级表现;苏格兰、爱尔兰、威尔士口音引发的错误会传至 LLM 阶段,破坏工具调用参数,而部署还需满足延迟与内存预算。 相关发现可指导设计更包容、可靠的语音金融助手。

  5. arXiv · AI32

    UltraDub:统一视觉引导流学习与轨迹指导,实现逼真配音

    UltraDub 将视觉用作连续运动与结构节奏,提出统一视觉引导流学习与轨迹指导的配音框架,在四个数据集上取得 SOTA 性能。 其 MDR 模块通过共享唇动查询残差校准语言与说话人风格检索,RTG 免训练,在纯视觉预测中点评估分层多模态校正以保持时序对齐,并构建 DiverseDub 多场景基准。

  6. arXiv · AI22

    文本能否单独推断韵律风格?来自无监督声学聚类的证据

    一项研究用无监督声学聚类检验"文本足以选择韵律风格"这一假设,在 1,200 小时对话语料库的六位说话人上,文本嵌入对聚类 top-3 准确率仅比多数类基线高 +0.111。 词袋基线即达到该增益的四分之三,句嵌入仅额外贡献 +0.026,且在 360 种配置中声学聚类在文本嵌入空间均不紧凑。 研究认为文本主要通过词汇选择而非语义来提示韵律风格,无参考的风格选择不能假设更多。

  7. arXiv · AI28

    面向音频深度伪造检测的任务感知联合剪枝与蒸馏框架

    针对现有自监督学习检测器参数超300M导致无法部署于受限设备的问题,研究团队提出一种结合跨域知识蒸馏与运动引导结构化剪枝的任务感知联合框架。 该框架将模型压缩至31.9M参数并实现6.3倍FLOPs降低,在多个数据集上的平均性能下降仅1.30%,显著优于直接适配现有压缩方法的效果。 这一成果展示了该模型在资源受限设备上进行音频深度伪造检测部署的强大学潜力。

  8. R/ArtificialInteligence34

    Slow English FM:完全由 AI 智能体运营的面向初学者的 24/7 清晰英语新闻广播

    完全由 AI 智能体自主运营的 Slow English FM 上线,提供 24/7 清晰英语新闻广播,服务于英语学习者。 该系统自动筛选可靠新闻源,改写文本、生成音频并排播,支持网站、YouTube、Twitch 收听。 项目目前处于早期阶段,编排系统仍在调优,欢迎用户就语速、语音及节目形式提供反馈。

10月5日周一
  1. arXiv · ML30

    ParaGeo:基于共享潜空间几何分解副语言变异

    ParaGeo 提出一种在冻结语音语言模型中分解副语言变异的方法,利用 GLM-4-Voice 探针生成 80 个控制条件。在内容留出的情况下,其质心准确率相比置换基线从 1.25% 提升至 9.49%,同标签跨内容余弦相似度达到 0.285。该研究为副语言结构测量提供了共享坐标表示,并发布了相关代码。

  2. arXiv · AI21

    可控口音归一化:基于离散扩散的 DLM-AN 系统

    针对语言学习和配音场景对口音强度调节的需求,研究者提出基于掩码离散扩散的可控口音归一化系统 DLM-AN。该系统通过通用词预测器选择性复用源语音 token 来控制口音保留度,并引入流匹配时长比例预测器自动调整发音节奏。在多口音英语数据实验显示,DLM-AN 实现了最低的词错误率,同时保持了具有竞争力的口音抑制效果和可解释的口音强度控制。

  3. arXiv · AI41

    DuplexJev 如何利用冻结 LLM 实现批量语音决策

    DuplexJev 将 ASR 编码器隐藏状态通过连接器传入冻结 LLM,将语音问题转化为单 token 分布进行批量决策,8 张 GPU 约 0.1 秒可处理 80 个决策。该模型配合交叉注意力连接器时,说话人性别与情绪识别准确率均达 90%,语音问答准确率保持在 82%。

10月3日周六
  1. IT之家67

    Suno 推出 Speech 语音功能

    AI 音乐制作平台 Suno 宣布推出 Speech 语音功能,宣称这是业界首个能够将语音与音乐作为单一连贯音轨共同生成的音频模型。该功能通过端到端一体化生成,可以单次生成完整融合语音朗读与原创 BGM 的音轨。目前 Speech 功能已正式面向所有人开放公测。