跳到正文
11月5日周四
  1. arXiv · AI26

    CAST-Bench:追踪多镜头音视频生成中每个声音的来源

    CAST-Bench 发布针对多镜头音视频生成的基准测试,包含 900 个提示词和 18 项指标,旨在追踪每个生成声音是否源自正确源、同步及语义准确。 该基准测试了 12 个代表性生成器,发现视觉质量接近饱和,但音频语义分数差异显著;多镜头提示词在子集评分规则下得分较低,多人语音及跨镜头事件保持仍为主要挑战。

  2. arXiv · NLP31

    OLIVE: 结合波形重建的视图增强潜在预测语音自监督学习框架

    提出语音自监督学习框架 OLIVE,联合优化掩码潜在预测与波形重建目标。 单一编码器内通过功能分离,重建约束早期特征保留信号级信息,掩码预测塑造后期上下文表征。 加入波形混合与增益增强可灵活调整表征偏向,在保持识别和语义任务竞争力的同时,显著改善说话人识别、生成及重建任务表现。

  3. arXiv · NLP25

    Confucius4-R2T2:一种稳定前缀的流式语音识别模型

    Confucius4-R2T2 基于 Qwen3-ASR-1.7B 经 1500 小时中英文音频后训练,实现流式 ASR 输出永不修改前序 token,同时保持高精度与低延迟。 模型采用 Longest Stable Prefix(LSP)标签学习机制,无需架构改动即可将全上下文模型转化为稳定前缀流式模型,且泛化能力超出训练语言范围。 模型权重与代码已开源。

  4. arXiv · NLP23

    深度神经网络说话人嵌入的类人跨语言泛化及其声学基础

    研究发现,18 个前沿模型在粤语-英语双语场景下的说话人嵌入跨语言泛化能力与人类行为高度一致,能准确区分身份并敏感反映语言切换。 模型泛化主要依赖共享声学线索及语言敏感性加权,这种机制与人类模式互为印证,为跨语言语音相似度处理中的“人机对齐”提供了收敛证据。 该研究已被 Interspeech 2026 接收,相关代码已在 Zenodo 发布。

11月4日周三
  1. 阿里语音AI23

    MosaicAudio 通过多教师蒸馏优化视频配音的语义、同步、审美与空间表现

    MosaicAudio 采用多教师在策略蒸馏,整合语义、同步、审美与空间四个维度反馈,推理时无需调用教师模型。 学生模型为 518M 参数,采用 25 步采样,单张 A800 生成 9 秒立体声音频仅需 0.6 秒。 该方法在 VGGSound 和 AudioCanvas 上取得领先的四维感知表现,并提升人工音视频一致性评分。

  2. arXiv · NLP35

    ReListen:基于冻结音频语言模型的免训练小时级音频证据定位

    提出免训练方法 ReListen,利用冻结音频语言模型通过 Jev 风格扫描定位小时级音频中的关键证据。 模型对 20 秒窗口进行评分,选出最高分的一分钟作为证据,在 VoiceGiraffe 数据集上 88.5% 的问题定位优于转录检索,准确率比全转录高 9.2 分。 该方法推理速度优于所有基于转录的系统,且显存占用恒定,无需额外训练即可处理超长音频。

  3. arXiv · ML34

    ScrambleMark 提出零查询、水印无关的黑盒语音水印规避攻击

    ScrambleMark 提出了一种零查询、水印无关的黑盒攻击方法,通过扰乱谐波结构规避语音水印检测,无需获取干净语音或检测器访问权限。 该方法结合确定性引擎与生成模型,在 Google SynthID、Resemble AI 和 TrustedAudio 三个商业平台上实现近 97% 的规避率,人类音质评分达 4.2/5,且能抵御自适应恢复机制。

  4. arXiv · AI27

    语音LLM记忆中的历史干扰:仅找到正确来源不足以保证答案准确

    研究揭示了语音LLM在获取正确历史音频后仍因干扰出错的机制,在MOSS-Audio和MiMo-Audio模型上验证了错误被导向特定竞争答案。 因果干预实验发现,干扰通过早期状态和源角色/答案值信息的低维路径影响生成,单纯切断直接访问无法消除多轮对话中的错误。 这表明可靠的对话记忆需控制保留信息如何进入答案计算过程,而非仅依靠检索。

  5. arXiv · AI24

    NepTTS-Bench: 尼泊尔语 TTS 母语者基准测试与 NepaliMOS 评估器

    尼泊尔语 TTS 基准 NepTTS-Bench 发布,包含 205 个句子和 77 个最小对,由 180 名母语者评分,揭示自动评估与人类偏好的差异。 研究显示自动评估工具 SCOREQ 偏好 ElevenLabs,但母语者更青睐 Piper;伴随发布的 NepaliMOS 预测器在系统级达到 rho = 0.90,跨系统表现有限,并提供 Python 评估包供实践者使用。

11月3日周二
  1. 阿里语音AI42

    阿里语音AI 构建自进化语音 Agent 沙盒,实现语音模型强化学习训练

    阿里语音AI构建自进化语音 Agent 沙盒,支持语音模型在真实交互环境中试错并获取反馈。系统包含可执行环境、自动评分及多粒度 GRPO 奖励,覆盖打断、断音等声学劣化场景。该沙盒通过动态进化机制持续产生新任务与难度,提升模型在复杂通话中的鲁棒性与业务办结率。

  2. arXiv · NLP25

    MedAstra:通过诊断依据进行无ASR医疗语音检索

    MedAstra 框架将 WavLM 语音表征映射至 E5 嵌入空间,实现无转录本密集检索,语音检索器 Recall@10 达 87.6,混合模式 90.4。 映射过程使用轻量适配器,检索配合实体替代与诊断对比支持生成。 明确区分合成与临床测试,指出需补充对比以评估泛化。

  3. arXiv · NLP45

    GSLM2 提出多流语音表示学习与生成式口语语言建模

    团队提出 GSLM2 模型,通过 SpidR 2.0 编码器生成多级别离散单元,实现生成式口语语言建模。 该模型采用多流架构联合建模,在 6M 小时数据和 6.5B 参数规模下,大幅缩小口语与文本 LLM 在 sWuggy、sBLIMP 和 tSC 基准上的差距。 研究已开源训练代码和模型检查点,旨在解决语音单位质量限制及单流表示瓶颈。

  4. arXiv · AI22

    SpeechEQ:评估社交感知语音对话模型情商的研究

    SpeechEQ 是一个评估语音语言模型(SLM)社会语言学推理的框架,包含基于 EQ-i 2.0 理论的 2265 段对话数据集及 15 个情商子量表。 该框架采用多轮评估协议计算口语情商(SEQ)分数。实验发现当前多模态模型受限于“模态捷径”、“安全陷阱”和“上下文遗忘”,且端到端架构优于级联系统。

11月2日周一
  1. arXiv · AI31

    TamilEOT:泰米尔语电话语音语义回合结束检测数据集与模型

    研究团队发布 TamilEOT,这是针对南亚语言的第一个开放语义回合结束检测数据集及检测器,包含来自 116 段电话对话的 18,485 个标注边界。 模型基于 Smart Turn v3 架构,在 4,168 个留出片段上准确率从 70.30% 提升至 86.13%,单线程运行低于 150 ms。 所有数据、权重、代码及阴性结果均已公开。

  2. arXiv · AI40

    Speech-DRAME:面向语音角色扮演的人机对齐基准框架

    Speech-DRAME 提出语音角色扮演评估框架,包含双语人工标注基准 Speech-DRAME-EvalBench 及微调评估器 DRAME-Eval。 基准支持原型评估与现实感评估,在合成数据上 DRAME-Eval 的皮尔逊相关系数分别达 0.629 和 0.602,显著优于零样本评测。 在真实语音测试中相关系数仅为 -0.142,揭示合成到真实数据存在显著迁移差距。

  3. arXiv · AI23

    音频大语言模型中多模态语音情绪识别的不一致感知评估

    研究通过两成分高斯混合模型构建无阈值不一致分数,发现不一致性在eNTERFACE'05等三个语料库中均提高了音频模型的情绪识别错误率。 文本通道的单独影响不可靠;移除情绪词典后的重建分数仍是六个替代方案中唯一能预测全部语料库错误的无标签分数。 开源了支持该评估的代码、数据表和提示词。

10月31日周六
10月30日周五
  1. arXiv · AI30

    VoiceLongMemEval 基准揭示 AI 助手在长对话中遗忘语音特征问题

    研究人员发布 VoiceLongMemEval 基准,指出当前评测忽视非语言线索,导致 AI 助手存在广泛的情感认知差距。提供语音元数据可使模型准确率提升 0.09 至 0.38,原生音频模型性能优于纯文本盲测。 该基准包含情感标签等元数据,每项测试均通过对抗性关卡,确保强语言模型仅靠文本无法作答。代码和数据集将在论文被录用后公开。

  2. arXiv · AI34

    MTG-AD:端到端行内音频描述的基准数据集与细粒度评估框架

    研究团队提出 MTG-AD 数据集与 MTG-AD-Eval 评估框架,用于提升视觉媒体对盲人和低视力用户的可访问性。 MTG-AD 包含 36 小时视频及 8000 余条由视障与明眼专家共同标注的描述,MTG-AD-Eval 通过生成音频轨道评估时序适配性。 实验显示,多模态大语言模型虽能减少语音重叠,但在叙事节奏上仍有差距;自动指标与人类评分显著相关,该成果已发表于 NeurIPS 2026。

  3. arXiv · NLP25

    dots.tts.edit:基于连续自回归模型的精准语音编辑

    dots.tts.edit 是一种基于连续自回归架构的语音编辑模型,通过半形式化转录脚本指令实现精准控制。 它支持词法、情感、韵律及暂停四种编辑操作,并在 doteBench 双语文本基准上展现出领先的指令遵循与局部保留能力。 音频质量与现有开源系统相当,且在 Seed-TTS-Eval 评测中与基座模型的零样本 TTS 识别误差及说话人相似度无显著差异。