跳到正文
11月19日周四
  1. arXiv · ML23

    无标签课堂录音中基于结构迁移的教师分割方法

    提出无标签课堂录音教师分割管道,在292条录音中实现0.81和0.87的教师F1分数,优于基线模型。 管道在智能手机上比pyannote快4.8倍,实时因子约0.18,滤波音频转录仅使教师词错误率从0.26升至0.28。 支持隐私保护部署,通过无标签推理标记不可分割会话以人工复核。

11月18日周三
  1. Hacker News AI75

    研究人员利用域名重置接管 Kokoro 模型账户以演示供应链攻击

    研究人员因 Hugging Face 缺乏所有权验证,注册 Kokoro 开发者域名重置密码并控制其账户。他们仅用 87 秒在消费级 GPU 上微调模型权重,使其输出与文本不符的音频,应用代码未做任何改动,且该恶意更新不会触发安全扫描器警报,揭示了 Hugging Face 平台对模型分发和账户真实性的广泛信任风险。

11月17日周二
  1. arXiv · ML25

    VoxSafeBench 提出首个联合评估语音语言模型社会对齐的基准

    VoxSafeBench 发布,联合评估语音语言模型(SLM)在安全、公平和隐私三个维度的社会对齐。 该基准采用两层设计,Tier 1 评估内容中心风险,Tier 2 评估音频条件风险,包含22个双语任务。 研究发现,前沿 SLM 能检测声学线索但常无法据此适当行动,揭示了普遍的语音接地差距,代码和数据已公开。

  2. arXiv · ML20

    语音欺骗检测中说话人身份影响的评估

    SInMT框架通过多任务学习和梯度反转层建模或移除说话人身份,在语音欺骗检测中将平均EER降低17%,针对A11等攻击最高降低48%。 该模型在四个数据集上评估,证明独立于说话人身份的嵌入假设有待验证。 方法验证了说话人信息对欺骗检测系统的影响。

  3. arXiv · AI33

    SGM-Diar 在实时说话人分离中恢复 52% 至 82% 离线误差

    SGM-Diar 在线系统基于 DiariZen 骨干网络,将 Surprise-Gated Memory 机制迁移至实时说话人分离任务。 在 AMI-SDM 数据集上恢复 52%(4.8/9.2)的离线误差差值,VoxConverse 数据集上恢复 82%(1.9/2.3)。 该证明概念系统冻结校准参数实现跨域迁移,记忆机制仅在会议内有效且运行时无梯度更新。

  4. arXiv · ML23

    DEVL框架:无训练流式推理,实现离线ASR模型实时转写且无精度损失

    研究团队提出DEVL框架,这是一种无需训练的流式推理方法,允许离线ASR模型在用户停止说话后快速返回高精度转写。 该方法将部分转写作为草稿,在回合结束时通过单次前向传播验证,确保最终结果在精确算术下与离线贪心输出完全一致。 在包含Qwen3-ASR-1.7B的五模型对比中,95%-100%的最终转写与离线结果字节级相同,WER偏差小于0.13分,且单流最终响应速度提升1.5至7.3倍。

  5. arXiv · ML28

    Facto 提出分解自监督语音分词方法

    研究提出 Facto 自监督语音分词器,通过分解静态与动态信息提升 token 对噪声扰动的鲁棒性。 方法基于线性分解处理未见说话人,理论分析了收敛与扩展特性,并验证了其在 TTS 和语音转换任务中的性能提升。 代码与模型检查点已开源发布。

  6. arXiv · NLP32

    WAXAL:一个覆盖 27 种非洲语言的大规模多语言语音语料库

    研究团队发布 WAXAL,这是一个开放且大规模的多语言语音数据集,覆盖 27 种非洲语言,代表超过 1 亿使用者。该数据集包含逾 14,100 小时的语音数据,其中自动语音识别(ASR)语料库有 2,340 小时带转录文本的图像提示自然语音,跨 19 种语言(另有约 11,760 小时未转录音频);合成语音(TTS)语料库约 247 小时,覆盖 15 种语言配置。

  7. arXiv · NLP23

    听觉反馈驱动 Flow TTS 实现隐式 Lombard 效应适应

    基于预训练 Flow-based TTS 引入 SNR 和 ASR 听觉反馈,使系统无需显式韵律控制即可在噪声环境下自适应提升语音清晰度。 反馈信号注入 Flow-matching 条件用于语料精修和因果块级更新;实验表明听觉反馈在未见过的噪声中具备泛化能力,且单纯增强功率/F0 跟踪不保证语音质量。

  8. arXiv · NLP37

    语音情绪识别评估:临床语音智能体中挫折感检测的效果与局限

    研究显示,在临床语音智能体中仅依赖转录文本无法有效识别患者的挫折感,约59%的轮次仅包含一两个词。 在30个通话样本中,引入音频信息对识别准确率的影响因模型而异,部分Gemini 2.5模型在提示下提升了3.0个百分点,但部分开源模型表现反而下降。 研究结论表明,针对短文本轮次,单纯转录文本不足以排除患者处于挫折状态,音频辅助需结合特定模型与提示策略才能有效。

  9. arXiv · NLP22

    机器口译竞争力:英语到中文同步口译中意义与目标语质量的语域敏感比较

    该研究对比了5个商业机器口译系统与26名人类译员的英语-中文同步口译表现。 在预谋语域中,最强机器系统在意义上极具竞争力,但在即兴语域中无机器系统接近顶级人类译员;机器口译主要存在语义扭曲、话语追踪失败及上下文不敏感解读的弱点。 这些发现为口译实践、教育及机器口译的未来开发提供了语域敏感的参考依据。

  10. arXiv · NLP33

    CosyVoice 2 中基于跨 Token 迁移的非语言文本转语音数据效率研究

    在 CosyVoice 2 框架下,少量笑声数据搭配其他非语言声音(如咳嗽)可显著提升生成效果。仅用 200 条笑声样本加 3,200 条咳嗽样本,笑声端到端 F1 从 0.170 升至 0.529,超过 1,600 条纯笑声样本的 0.495。 该研究发现跨 Token 迁移在低资源非语言声音生成中具有互补价值。 这一结论为缓解非语言数据稀缺问题提供了新的技术路径。

11月16日周一
  1. arXiv · NLP37

    FEND:外呼语音AI场景下的远端目标检测框架

    FEND框架通过分析音频与流式转录识别外呼远端身份,20秒内输出语音信箱、IVR、AI或真人四类标签。 在公开基准测试中,其语音信箱检测准确率达100%且零真人误判;AI callee识别利用语音时序特征达到0.952 ROC-AUC。 生产环境数据显示真人误判为自动化标签的比例仅为2.9%,显著优于标准AMD仅区分人机二值标签的局限性。

  2. arXiv · ML47

    标题:FETTUCCINE:移动端高效脑电转文本解码框架

    摘要:FETTUCCINE 是一种移动端脑电转文本框架,在商用设备上实现 370 倍实时吞吐量,将词错误率降至 4.39%。 该模型利用自动语音识别技术,支持微调以应对神经非平稳性,并通过梯度显著性图定位关键神经特征。 这是首次在移动设备上实现脑电转文本解码,为便携式神经假体通信提供了新方案。

  3. arXiv · AI23

    A$^3$:面向协同边缘计算的自适应音频智能体框架

    A$^3$ 是一种自适应音频智能体框架,将流水线阶段部署在边缘服务器,并在设备保留完整回退智能体,通过链路感知截止时间决定何时放弃服务器。在 Jetson 设备与 RTX A4500 服务器上,A$^3$ 在链路正常时性能与纯服务器智能体持平,在 AGX 全断网时响应所有请求,且在模拟断网中优于百分位对冲策略。

  4. arXiv · AI38

    跨语言声学生物标志物在认知障碍检测中的应用:交互与单人语音任务的比较研究

    研究在西班牙语、普通话、英语和日语四种语言的数据集中,通过统计、专家引导及机器学习方法筛选出紧凑的声学特征集,用于认知障碍检测。 发现时序特征在所有数据集中表现稳健,而语速特征主要在外置锚定内容的单人任务中有效,音高特征在声调语言与非声调语言中呈现不同模式。 研究强调了避免盲目混合异构语音数据的重要性,并支持采用可解释且情境感知的方法进行多语言痴呆筛查。

11月13日周五
  1. arXiv · AI38

    ZONOS3-Mini 技术报告:8.86 亿参数实现实时零样本语音克隆

    ZONOS3-Mini 是一款超紧凑型实时零样本语音克隆 TTS 模型,可在笔记本电脑或手机上运行。 模型采用 886M 参数的潜在 MoE 骨干网络(每 token 激活 100M)及 15 Hz 帧率的 ZAC-1 音频编解码器,支持 44.1 kHz 音频。 在 ZTTS2-Eval 基准上,其 55 个语言集的宏平均 WER 为 6.71%,模型权重与代码已开源。

  2. arXiv · NLP30

    低资源语言语音转写:28 个开源多语言模型在 50 种低资源语言上的迁移微调研究

    该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。

  3. arXiv · NLP27

    研究揭示合成客服语音中人类相似度与会话偏好的评判标准存在分歧

    针对120轮客服对话的配对测试显示,听众在“人类相似度”与“会话偏好”上的评判存在显著差异。部分TTS系统在相似度上排名较高,却在偏好上落后;听众在偏好测试中选择合成语音的比例(36%)高于相似度测试(19%)。 仅测量人类相似度或每个系统只测试一个声音,会导致错误判断听众实际更想与之交谈的合成智能体。

  4. arXiv · NLP28

    Hy ASR 3.0 技术报告

    Hy ASR 3.0 是基于 LLM 的自动语音识别系统,支持普通话、英语及 13 类中国方言,在多项公开基准上取得最低综合错误率。模型支持热词列表、问答对话等外部上下文,并利用句内上下文消解同音词歧义。该系统在长语音、儿童及老人语音、低音量及嘈杂环境下均表现出强大的鲁棒性。

  5. arXiv · NLP30

    提出分布鲁棒 BEST-RQ 以改进语音表征学习

    为增强 BEST-RQ 对不同量化配置的鲁棒性,提出分布鲁棒扩展方法。 将训练构建为基于码本的组分布鲁棒优化(DRO)问题,通过自适应重权强调表现较差的组,并使用 Kullback-Leibler 散度正则化。 在 Multilingual LibriSpeech 数据集上验证,该方法性能优于传统的多个码本均匀平均方案。

11月12日周四
  1. Hacker News AI80

    Vercel数据显示生产环境中AI模型半衰期仅六周

    部署平台Vercel报告显示,生产环境中的AI模型有效半衰期约为六周,十月语言模型请求中超过半数量流向发布不满60天的新模型。决策模型在十月份占网关总请求量的26%,但成本极低;语音模型使用率在七个月内增长了161%。Anthropic在十月获得了比OpenAI更多新增团队作为首选,而OpenAI则占据了网关总支出的约15%。

    推荐理由:报告基于海量生产数据揭示模型快速更迭规律,指出企业AI核心挑战是构建可连续替换模型的基础设施而非单一选型。