CAST-Bench:追踪多镜头音视频生成中每个声音的来源
CAST-Bench 发布针对多镜头音视频生成的基准测试,包含 900 个提示词和 18 项指标,旨在追踪每个生成声音是否源自正确源、同步及语义准确。 该基准测试了 12 个代表性生成器,发现视觉质量接近饱和,但音频语义分数差异显著;多镜头提示词在子集评分规则下得分较低,多人语音及跨镜头事件保持仍为主要挑战。
CAST-Bench 发布针对多镜头音视频生成的基准测试,包含 900 个提示词和 18 项指标,旨在追踪每个生成声音是否源自正确源、同步及语义准确。 该基准测试了 12 个代表性生成器,发现视觉质量接近饱和,但音频语义分数差异显著;多镜头提示词在子集评分规则下得分较低,多人语音及跨镜头事件保持仍为主要挑战。
提出语音自监督学习框架 OLIVE,联合优化掩码潜在预测与波形重建目标。 单一编码器内通过功能分离,重建约束早期特征保留信号级信息,掩码预测塑造后期上下文表征。 加入波形混合与增益增强可灵活调整表征偏向,在保持识别和语义任务竞争力的同时,显著改善说话人识别、生成及重建任务表现。
Confucius4-R2T2 基于 Qwen3-ASR-1.7B 经 1500 小时中英文音频后训练,实现流式 ASR 输出永不修改前序 token,同时保持高精度与低延迟。 模型采用 Longest Stable Prefix(LSP)标签学习机制,无需架构改动即可将全上下文模型转化为稳定前缀流式模型,且泛化能力超出训练语言范围。 模型权重与代码已开源。
研究发现,18 个前沿模型在粤语-英语双语场景下的说话人嵌入跨语言泛化能力与人类行为高度一致,能准确区分身份并敏感反映语言切换。 模型泛化主要依赖共享声学线索及语言敏感性加权,这种机制与人类模式互为印证,为跨语言语音相似度处理中的“人机对齐”提供了收敛证据。 该研究已被 Interspeech 2026 接收,相关代码已在 Zenodo 发布。
MosaicAudio 采用多教师在策略蒸馏,整合语义、同步、审美与空间四个维度反馈,推理时无需调用教师模型。 学生模型为 518M 参数,采用 25 步采样,单张 A800 生成 9 秒立体声音频仅需 0.6 秒。 该方法在 VGGSound 和 AudioCanvas 上取得领先的四维感知表现,并提升人工音视频一致性评分。
研究提出含 12,013 条样本的三语语音幻觉检测基准,覆盖英、俄、哈新闻及三种合成篡改类型。 微调多语言编码器在文本到转录本的转换中性能下降与 ASR 错误率相关。 仅 Gemma-3n 在转录本上超过二元多数类基线,宏观 F1 分数优于其他四个零样本解码器。
提出免训练方法 ReListen,利用冻结音频语言模型通过 Jev 风格扫描定位小时级音频中的关键证据。 模型对 20 秒窗口进行评分,选出最高分的一分钟作为证据,在 VoiceGiraffe 数据集上 88.5% 的问题定位优于转录检索,准确率比全转录高 9.2 分。 该方法推理速度优于所有基于转录的系统,且显存占用恒定,无需额外训练即可处理超长音频。
ScrambleMark 提出了一种零查询、水印无关的黑盒攻击方法,通过扰乱谐波结构规避语音水印检测,无需获取干净语音或检测器访问权限。 该方法结合确定性引擎与生成模型,在 Google SynthID、Resemble AI 和 TrustedAudio 三个商业平台上实现近 97% 的规避率,人类音质评分达 4.2/5,且能抵御自适应恢复机制。
研究揭示了语音LLM在获取正确历史音频后仍因干扰出错的机制,在MOSS-Audio和MiMo-Audio模型上验证了错误被导向特定竞争答案。 因果干预实验发现,干扰通过早期状态和源角色/答案值信息的低维路径影响生成,单纯切断直接访问无法消除多轮对话中的错误。 这表明可靠的对话记忆需控制保留信息如何进入答案计算过程,而非仅依靠检索。
尼泊尔语 TTS 基准 NepTTS-Bench 发布,包含 205 个句子和 77 个最小对,由 180 名母语者评分,揭示自动评估与人类偏好的差异。 研究显示自动评估工具 SCOREQ 偏好 ElevenLabs,但母语者更青睐 Piper;伴随发布的 NepaliMOS 预测器在系统级达到 rho = 0.90,跨系统表现有限,并提供 Python 评估包供实践者使用。
Cartesia 利用 State Space Models (SSMs) 在 AWS 基础设施上提供亚 100ms 延迟的文本转语音与语音转文本服务,其旗舰模型 Sonic 首字节延迟约为 90ms,支持 44 种语言及 10 秒样本语音克隆。
阿里语音AI构建自进化语音 Agent 沙盒,支持语音模型在真实交互环境中试错并获取反馈。系统包含可执行环境、自动评分及多粒度 GRPO 奖励,覆盖打断、断音等声学劣化场景。该沙盒通过动态进化机制持续产生新任务与难度,提升模型在复杂通话中的鲁棒性与业务办结率。
Apple 为 Siri Expressive Voices 开发了基于解耦时序与深度处理的 detokenizer 架构。该架构利用单一可复用深度 decoder 和因果滑窗注意力,将内存复杂度降至恒定,峰值运行内存仅 21 MB,且生成速度比实时快 16 倍。
InteractionBench 基准在统一录音下评估 7 个实时语音系统的 4 个维度,包含 13 个场景下每系统 221 项测试。 测试了 GPT-Live 等 7 个系统共 1,519 次,发现全双工系统的时序与任务准确性排名相关($\rho = 0.83$),级联系统任务得分最高(38/50)但时序偏低。
研究引入 SAC-Bench,包含来自 188 个声事件类别的 616,031 个独特片段,用于测试 Audio-Language 模型在语音断言与声学证据矛盾时的响应。
ufakzeka-kulak 是一个 31.6M 参数的开源土耳其语语音转文本模型,采用 FastConformer 编码器与 TDT 解码,基于 Apache-2.0 协议发布。
GigaSpeech 3 发布 39,000 小时多方言阿拉伯语弱标注语料,涵盖阿尔及利亚、埃及等五种方言,通过自监督学习与噪声学生策略生成标签。 该语料使方言特定模型在 GigaSpeechBench 上词错误率降至 23.86%,较第三方系统降低 16.6%,并在八个外部测试条件下表现最优。
现有零样本语音转换(VC)模型在阿拉伯语上泛化不足,EZ-Ar-VC 基于 EZ-VC 训练并实现高相似度保持下的有效匿名。模型在发音保持、自然度与说话人区分度上表现强劲。其鲁棒性支持语码转换与有限数据方言的跨方言语转换,凸显目标语言适配的必要性。
MedAstra 框架将 WavLM 语音表征映射至 E5 嵌入空间,实现无转录本密集检索,语音检索器 Recall@10 达 87.6,混合模式 90.4。 映射过程使用轻量适配器,检索配合实体替代与诊断对比支持生成。 明确区分合成与临床测试,指出需补充对比以评估泛化。
团队提出 GSLM2 模型,通过 SpidR 2.0 编码器生成多级别离散单元,实现生成式口语语言建模。 该模型采用多流架构联合建模,在 6M 小时数据和 6.5B 参数规模下,大幅缩小口语与文本 LLM 在 sWuggy、sBLIMP 和 tSC 基准上的差距。 研究已开源训练代码和模型检查点,旨在解决语音单位质量限制及单流表示瓶颈。
SpeechEQ 是一个评估语音语言模型(SLM)社会语言学推理的框架,包含基于 EQ-i 2.0 理论的 2265 段对话数据集及 15 个情商子量表。 该框架采用多轮评估协议计算口语情商(SEQ)分数。实验发现当前多模态模型受限于“模态捷径”、“安全陷阱”和“上下文遗忘”,且端到端架构优于级联系统。
针对全保真音频提出的基准测试发现,语言模型在8位和16位压缩上优于FLAC,但24位词汇量达16.7M导致直接方法不可行。 研究提出字节级分词方案Trilobyte,将词汇扩展复杂度从O(2^b)降至O(1),使24位无损压缩首次可行。 该工作发表于Interspeech 2026,填补了16/24位音频压缩基准空白。
summary_zh: VoxServe 提出了一种将 LLM 骨干与语音编解码器重叠运行在不同 GPU 分区上的 SpeechLM 服务架构。 该系统通过三条异步执行通道按数据块紧急程度调度,在 Qwen3-TTS 上实现 200ms TTFA 目标下请求速率提升 1.5 倍。
ViSSFlow 是一个基于 Flow-Matching 的统一框架,旨在同时解决 Video-to-Sound (V2S) 和 Visual Text-to-Speech (VisualTTS) 任务。
8个 Voice-Native LLM 在353项任务中表现稳健,对挫败语音无准确率影响。模型仅3.1%正确识别挫败语调,却73%-100%识别愤怒;线性探针在两个开源模型解码出挫败特征(准确率0.67-0.69)。研究表明模型能感知声音中的挫败,但未将其用于提升表现。
冻结 MiniCPM-o 4.5 语音模块,拟合逻辑失效读数实现全双工路由。内部基准下选择性转接提升准确率 27.1 点,较常开专家降低首响延迟 31.5%。无需额外全双工训练即可让模型在简单问题上即时回答,复杂问题上等待更强推理。
TextPro-SLM 通过结合 WhisperPro 和 LLM 骨干,在 3B 和 7B 规模下实现了领先的模态差距最小化。 该系统仅需约 1,000 小时 LLM 训练音频即可在副语言理解任务中保持强劲性能,代码已公开,论文被 NeurIPS 2026 接收。
Apriel Voice 27B Preview 是一款开源语音语言模型,基于 Gemma 4 26B-A4B 构建,能够直接处理语音并生成回复与工具调用。该模型在 thinking 模式下于 Big Bench Audio 得分 98.90,Speech-BFCL 得分 81.13,tau-Voice 任务成功率 65.51%,平均延迟为 1.91 秒。
首个无同步通用对抗前缀攻击GhostPrefix可实时操控ASR输出。 在13个开源ASR模型上,提示引导与目标劫持模式平均成功率达97.6%和93.4%。 该攻击导致语音助手等下游AI管道出现系统性语义误读。
研究团队发布 TamilEOT,这是针对南亚语言的第一个开放语义回合结束检测数据集及检测器,包含来自 116 段电话对话的 18,485 个标注边界。 模型基于 Smart Turn v3 架构,在 4,168 个留出片段上准确率从 70.30% 提升至 86.13%,单线程运行低于 150 ms。 所有数据、权重、代码及阴性结果均已公开。
Speech-DRAME 提出语音角色扮演评估框架,包含双语人工标注基准 Speech-DRAME-EvalBench 及微调评估器 DRAME-Eval。 基准支持原型评估与现实感评估,在合成数据上 DRAME-Eval 的皮尔逊相关系数分别达 0.629 和 0.602,显著优于零样本评测。 在真实语音测试中相关系数仅为 -0.142,揭示合成到真实数据存在显著迁移差距。
研究通过两成分高斯混合模型构建无阈值不一致分数,发现不一致性在eNTERFACE'05等三个语料库中均提高了音频模型的情绪识别错误率。 文本通道的单独影响不可靠;移除情绪词典后的重建分数仍是六个替代方案中唯一能预测全部语料库错误的无标签分数。 开源了支持该评估的代码、数据表和提示词。
Nemotron语音智能体将ASR、Bolt E4B、Magpie TTS和Audio2Face-3D整合在单工作站中,实现端侧语音角色交互。
研究人员推出可扩展开源数据集 LibriVAD,基于 LibriSpeech 并融合多种真实与合成噪声源,包含 15 GB、150 GB 和 1.5 TB 三种规格及两种变体。
研究人员在 ESP32-P4 微控制器上成功运行了 65.7M 参数的英语流式语音识别模型 Kroko,未使用任何神经加速器。该模型经 2/4 位量化后权重文件仅 26.65 MB,处理每个 1.28 秒音频块耗时 0.90 秒,LibriSpeech test-clean WER 为 4.34%。
研究人员发布 VoiceLongMemEval 基准,指出当前评测忽视非语言线索,导致 AI 助手存在广泛的情感认知差距。提供语音元数据可使模型准确率提升 0.09 至 0.38,原生音频模型性能优于纯文本盲测。 该基准包含情感标签等元数据,每项测试均通过对抗性关卡,确保强语言模型仅靠文本无法作答。代码和数据集将在论文被录用后公开。
研究团队提出 MTG-AD 数据集与 MTG-AD-Eval 评估框架,用于提升视觉媒体对盲人和低视力用户的可访问性。 MTG-AD 包含 36 小时视频及 8000 余条由视障与明眼专家共同标注的描述,MTG-AD-Eval 通过生成音频轨道评估时序适配性。 实验显示,多模态大语言模型虽能减少语音重叠,但在叙事节奏上仍有差距;自动指标与人类评分显著相关,该成果已发表于 NeurIPS 2026。
针对流式 ConvLSTM 模型,多轮对话数据训练的回合结束检测器在 F1 分数上较单轮数据最高高出 +0.45。 1.8M 参数的开源模型在四个测试集上均取得最高 F1,且该优势仅存在于对话测试数据中。 指出仅测试单轮语音会掩盖对话训练数据的优势。
PromptSense 框架通过结合情感与抑郁分析及基于规则过滤机制,显著提升了心理健康聊天机器人的共情力与风险感知能力。 实验评估显示,提示工程方法在各项指标上优于 DSFT 1.8% 和 RLAIF 1.1%,并使用了 Perspective API 进行毒性评估。
dots.tts.edit 是一种基于连续自回归架构的语音编辑模型,通过半形式化转录脚本指令实现精准控制。 它支持词法、情感、韵律及暂停四种编辑操作,并在 doteBench 双语文本基准上展现出领先的指令遵循与局部保留能力。 音频质量与现有开源系统相当,且在 Seed-TTS-Eval 评测中与基座模型的零样本 TTS 识别误差及说话人相似度无显著差异。