无标签课堂录音中基于结构迁移的教师分割方法
提出无标签课堂录音教师分割管道,在292条录音中实现0.81和0.87的教师F1分数,优于基线模型。 管道在智能手机上比pyannote快4.8倍,实时因子约0.18,滤波音频转录仅使教师词错误率从0.26升至0.28。 支持隐私保护部署,通过无标签推理标记不可分割会话以人工复核。
提出无标签课堂录音教师分割管道,在292条录音中实现0.81和0.87的教师F1分数,优于基线模型。 管道在智能手机上比pyannote快4.8倍,实时因子约0.18,滤波音频转录仅使教师词错误率从0.26升至0.28。 支持隐私保护部署,通过无标签推理标记不可分割会话以人工复核。
研究人员因 Hugging Face 缺乏所有权验证,注册 Kokoro 开发者域名重置密码并控制其账户。他们仅用 87 秒在消费级 GPU 上微调模型权重,使其输出与文本不符的音频,应用代码未做任何改动,且该恶意更新不会触发安全扫描器警报,揭示了 Hugging Face 平台对模型分发和账户真实性的广泛信任风险。
VoxSafeBench 发布,联合评估语音语言模型(SLM)在安全、公平和隐私三个维度的社会对齐。 该基准采用两层设计,Tier 1 评估内容中心风险,Tier 2 评估音频条件风险,包含22个双语任务。 研究发现,前沿 SLM 能检测声学线索但常无法据此适当行动,揭示了普遍的语音接地差距,代码和数据已公开。
SInMT框架通过多任务学习和梯度反转层建模或移除说话人身份,在语音欺骗检测中将平均EER降低17%,针对A11等攻击最高降低48%。 该模型在四个数据集上评估,证明独立于说话人身份的嵌入假设有待验证。 方法验证了说话人信息对欺骗检测系统的影响。
Nemotron 3.5 Transcribe 开源语音识别模型的高吞吐推理引擎在 H100 SXM 上峰值达 4,345x 实时,是调优 vLLM 的 1.39 倍,B200 上峰值 6,367x。
ProTTS 提出了一种统一的 TTS 框架,通过聚类头自动发现词重音并指导语音合成。 该模型基于 FastSpeech_2,无需标注即可端到端训练,支持用户自定义重音掩码。 听众偏好 ProTTS,其 MOS 为 3.96(基线 3.12),在 Tatoeba 上实现 0.933 的 F1 重音检测分数。
SGM-Diar 在线系统基于 DiariZen 骨干网络,将 Surprise-Gated Memory 机制迁移至实时说话人分离任务。 在 AMI-SDM 数据集上恢复 52%(4.8/9.2)的离线误差差值,VoxConverse 数据集上恢复 82%(1.9/2.3)。 该证明概念系统冻结校准参数实现跨域迁移,记忆机制仅在会议内有效且运行时无梯度更新。
Pixel-KWS 在 LibriPhrase 上无预训练即超越所有基线,LibriPhrase-hard 和 easy 的 EER 分别为 9.57% 和 0.43%。 该框架将字符渲染为灰度图像,用轻量级 CNN 编码,通过视觉形式泛化,显著提升了对同形异义字符和 l33tspeak 变体的鲁棒性。
研究团队提出DEVL框架,这是一种无需训练的流式推理方法,允许离线ASR模型在用户停止说话后快速返回高精度转写。 该方法将部分转写作为草稿,在回合结束时通过单次前向传播验证,确保最终结果在精确算术下与离线贪心输出完全一致。 在包含Qwen3-ASR-1.7B的五模型对比中,95%-100%的最终转写与离线结果字节级相同,WER偏差小于0.13分,且单流最终响应速度提升1.5至7.3倍。
研究提出 Facto 自监督语音分词器,通过分解静态与动态信息提升 token 对噪声扰动的鲁棒性。 方法基于线性分解处理未见说话人,理论分析了收敛与扩展特性,并验证了其在 TTS 和语音转换任务中的性能提升。 代码与模型检查点已开源发布。
DECOUPAGE 提出一种由剧本驱动的长形式多镜头、多角色音视频联合生成框架。该模型基于联合扩散架构,通过双调度时间交叉注意力机制实现视听时序解耦,支持 15-60 秒生成的多模态一致性控制。
研究团队发布 WAXAL,这是一个开放且大规模的多语言语音数据集,覆盖 27 种非洲语言,代表超过 1 亿使用者。该数据集包含逾 14,100 小时的语音数据,其中自动语音识别(ASR)语料库有 2,340 小时带转录文本的图像提示自然语音,跨 19 种语言(另有约 11,760 小时未转录音频);合成语音(TTS)语料库约 247 小时,覆盖 15 种语言配置。
基于预训练 Flow-based TTS 引入 SNR 和 ASR 听觉反馈,使系统无需显式韵律控制即可在噪声环境下自适应提升语音清晰度。 反馈信号注入 Flow-matching 条件用于语料精修和因果块级更新;实验表明听觉反馈在未见过的噪声中具备泛化能力,且单纯增强功率/F0 跟踪不保证语音质量。
三项研究显示,语音大语言模型在识别13岁以下儿童时存在三个不可见故障模式。2.5%至42.5%的音频被错误分类为13岁以上,部分5至11岁儿童被误判为18岁以上。
summary_zh: 提出 Speaking-Clock Mamba 模型,通过在 Mamba 骨干中引入音素条件的选择性扫描(PCSS),将转录文本进度整合进时间递归过程。
研究显示,在临床语音智能体中仅依赖转录文本无法有效识别患者的挫折感,约59%的轮次仅包含一两个词。 在30个通话样本中,引入音频信息对识别准确率的影响因模型而异,部分Gemini 2.5模型在提示下提升了3.0个百分点,但部分开源模型表现反而下降。 研究结论表明,针对短文本轮次,单纯转录文本不足以排除患者处于挫折状态,音频辅助需结合特定模型与提示策略才能有效。
该研究对比了5个商业机器口译系统与26名人类译员的英语-中文同步口译表现。 在预谋语域中,最强机器系统在意义上极具竞争力,但在即兴语域中无机器系统接近顶级人类译员;机器口译主要存在语义扭曲、话语追踪失败及上下文不敏感解读的弱点。 这些发现为口译实践、教育及机器口译的未来开发提供了语域敏感的参考依据。
Sada-ASR 在 120 小时 MSA 及八种方言测试集中表现最优,120 小时测试集词错率 11.69%,优于 Microsoft MAI-Transcribe-2 的 13.51%。
在 CosyVoice 2 框架下,少量笑声数据搭配其他非语言声音(如咳嗽)可显著提升生成效果。仅用 200 条笑声样本加 3,200 条咳嗽样本,笑声端到端 F1 从 0.170 升至 0.529,超过 1,600 条纯笑声样本的 0.495。 该研究发现跨 Token 迁移在低资源非语言声音生成中具有互补价值。 这一结论为缓解非语言数据稀缺问题提供了新的技术路径。
研究人员通过结合固定角色说话人归因WER(SA-WER)评分器与回合级起始延迟奖励的强化学习可验证奖励(RLVR)方法,对基于LLM的流式自动语音识别模型进行后训练。
研究比较了 Pipecat、LiveKit 和 GPT-Live 在西班牙语电话货运费率谈判中的表现,GPT-Live 中位响应延迟为 2,444.8 ms,优于 Pipecat 的 2,616.0 ms 和 LiveKit 的 3,090.0 ms。
研究提出覆盖 5 种语言的多任务语音标记基准 OmniTag-Bench,评估 10 个开源多模态 LLM 并微调 Qwen3-Omni。基准揭示非英语语音常被强行转录或翻译为英语,导致 WER 上升;微调提升 NER、情感识别及 WER,并在未见过的荷兰语上实现泛化。
Gemini Decision 1 能区分 2025 年前的 AI 语音生成器,但面对 2025 至 2026 年的模型其区分能力降至接近随机水平。测试中,旧模型聚合 AUC 为 0.67,而 2025-2026 年模型仅为 0.52。
RECOVER 提出一种 agentic 后 ASR 实体纠错框架,通过 LLM 提出约束下修正并利用确定性护栏与 LLM critic 进行筛选及反馈,解决罕见及领域特定术语识别难题。
FEND框架通过分析音频与流式转录识别外呼远端身份,20秒内输出语音信箱、IVR、AI或真人四类标签。 在公开基准测试中,其语音信箱检测准确率达100%且零真人误判;AI callee识别利用语音时序特征达到0.952 ROC-AUC。 生产环境数据显示真人误判为自动化标签的比例仅为2.9%,显著优于标准AMD仅区分人机二值标签的局限性。
摘要:FETTUCCINE 是一种移动端脑电转文本框架,在商用设备上实现 370 倍实时吞吐量,将词错误率降至 4.39%。 该模型利用自动语音识别技术,支持微调以应对神经非平稳性,并通过梯度显著性图定位关键神经特征。 这是首次在移动设备上实现脑电转文本解码,为便携式神经假体通信提供了新方案。
A$^3$ 是一种自适应音频智能体框架,将流水线阶段部署在边缘服务器,并在设备保留完整回退智能体,通过链路感知截止时间决定何时放弃服务器。在 Jetson 设备与 RTX A4500 服务器上,A$^3$ 在链路正常时性能与纯服务器智能体持平,在 AGX 全断网时响应所有请求,且在模拟断网中优于百分位对冲策略。
研究在西班牙语、普通话、英语和日语四种语言的数据集中,通过统计、专家引导及机器学习方法筛选出紧凑的声学特征集,用于认知障碍检测。 发现时序特征在所有数据集中表现稳健,而语速特征主要在外置锚定内容的单人任务中有效,音高特征在声调语言与非声调语言中呈现不同模式。 研究强调了避免盲目混合异构语音数据的重要性,并支持采用可解释且情境感知的方法进行多语言痴呆筛查。
Kezek 将双人单声道录音分离为对应时长的独立音轨,保留重叠及短回复归属。 两阶段模型结合声纹指纹与条件时域分离器,短回复保留率达 0.83,速度提升 4-5 倍。 代码与权重以宽松许可证开源,填补全双工对话数据中静音短回复缺失的技术空白。
ZONOS3-Mini 是一款超紧凑型实时零样本语音克隆 TTS 模型,可在笔记本电脑或手机上运行。 模型采用 886M 参数的潜在 MoE 骨干网络(每 token 激活 100M)及 15 Hz 帧率的 ZAC-1 音频编解码器,支持 44.1 kHz 音频。 在 ZTTS2-Eval 基准上,其 55 个语言集的宏平均 WER 为 6.71%,模型权重与代码已开源。
summary_zh: WavCube 提出紧凑连续潜在表征,通过两阶段训练同时支持语音理解、重建与生成,在 8 倍维度压缩下接近 WavLM 在 SUPERB 上的表现。
研究指出,WER相同的ASR系统在流式听写下故障模式不同。Zoom Scribe与OpenAI GPT-Live-Transcribe在安静英文下WER分别为7.4%和7.3%,但在耳语英文下分别为34.7%和8.8%。
该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。
针对120轮客服对话的配对测试显示,听众在“人类相似度”与“会话偏好”上的评判存在显著差异。部分TTS系统在相似度上排名较高,却在偏好上落后;听众在偏好测试中选择合成语音的比例(36%)高于相似度测试(19%)。 仅测量人类相似度或每个系统只测试一个声音,会导致错误判断听众实际更想与之交谈的合成智能体。
针对低资源黏着语码切换语音识别难题,研究者提出 Dynamic Block-Online 框架。 该框架结合 VAD 对齐推理与灵活延迟预算,通过全局双向注意力保留形态完整性。
Hy ASR 3.0 是基于 LLM 的自动语音识别系统,支持普通话、英语及 13 类中国方言,在多项公开基准上取得最低综合错误率。模型支持热词列表、问答对话等外部上下文,并利用句内上下文消解同音词歧义。该系统在长语音、儿童及老人语音、低音量及嘈杂环境下均表现出强大的鲁棒性。
为增强 BEST-RQ 对不同量化配置的鲁棒性,提出分布鲁棒扩展方法。 将训练构建为基于码本的组分布鲁棒优化(DRO)问题,通过自适应重权强调表现较差的组,并使用 Kullback-Leibler 散度正则化。 在 Multilingual LibriSpeech 数据集上验证,该方法性能优于传统的多个码本均匀平均方案。
基于冻结的多模态 LLM,通过 97M 参数适配层以约 30 GPU 小时训练出全双工词级口语对话系统。 Thinker 保持冻结,Talker 独立读取离散 token;在 Full-Duplex-Bench 和 InteractionBench 中,该系统的口语任务准确率、连贯性优于大规模训练的开源自对系统。
部署平台Vercel报告显示,生产环境中的AI模型有效半衰期约为六周,十月语言模型请求中超过半数量流向发布不满60天的新模型。决策模型在十月份占网关总请求量的26%,但成本极低;语音模型使用率在七个月内增长了161%。Anthropic在十月获得了比OpenAI更多新增团队作为首选,而OpenAI则占据了网关总支出的约15%。
推荐理由:报告基于海量生产数据揭示模型快速更迭规律,指出企业AI核心挑战是构建可连续替换模型的基础设施而非单一选型。
一项包含 75 名听众的盲测研究发现,在排除录音链路差异后,听众判断有声读物片段是人类还是 AI(ElevenLabs v4)生成的准确率仅为 48.8%。数据表明听众对判断信心与准确率无关,且 ElevenLabs 语音常被误认为人类。