跳到正文
10月30日周五
  1. arXiv · NLP25

    READ:基于声学差异的无参考 ASR 假设评估指标

    READ 是一种无参考的 ASR 假设评估指标,通过声学差异直接评估语音识别结果。 READ 利用预训练自回归 TTS 模型计算语音 token 在文本假设下的条件似然,无需额外训练即可用于假设精化。 实验显示 READ 与特定识别错误相关,相对错误率最高降低 20%,在噪声条件下增益尤为显著。

  2. arXiv · NLP25

    ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models

    ReHear 提出通过迭代式伪标签精化改进半监督自动语音识别(ASR)。 它利用指令微调的音频感知大语言模型(LLM),基于 ASR 假设和原始音频生成高精度伪标签,用于微调 ASR 模型。 该框架在不同基准测试中均优于监督学习和传统伪标签基线,有效缓解了错误累积问题。

  3. arXiv · NLP35

    揭示自回归声音克隆 TTS 模型中可解释的声学特征

    研究提出针对自回归声音克隆 TTS 模型的特征可解释性框架,基于稀疏自编码器(SAE)等分析 Qwen3-TTS 及 5 个额外模型。 SAE 擅长稀疏探测与概念发现,PCA 在密集探测中表现竞争;在 Qwen3-TTS 中自动验证了 684 个 SAE 特征,覆盖说话人聚类、风格及录音条件。 该研究为理解 TTS 模型内部声学属性编码机制提供了全面解析。

  4. arXiv · NLP33

    基于感知对齐的分段评估协议:揭示生成语音中的口音差异

    研究者提出结合说话人与口音相似度评分及子词标注的分段评估协议。 47名听众评估了200对苏格兰和澳大利亚语音样本,涵盖2个零样本TTS系统和1个发音转换系统。子词标注揭示了显著发音差异,且有时与相似度评分得出的系统排名不同。说话人与口音评分呈强相关(ρ = 0.71)。 该协议有助于超越传统评分,利用局部感知证据开发感知基础的分段口音评估方法,相关代码、数据和交互式演示已开放。

10月29日周四
  1. Tibo (X)63

    OpenAI 为 Dot 添加即时通讯与语音指令功能

    OpenAI 宣布 Dot 功能新增文本、照片及语音笔记支持,用户可像发送短信一样直接向助手下达任务。该功能通过 iMessage 或 RCS 提供隐私保护,助手会主动发送更新,现已面向美国 Pro 用户开放预览。

    推荐理由:该功能支持通过iMessage或语音备忘指令AI助手,展示了日常交互与执行任务的能力扩展。

10月28日周三
  1. NVIDIA Blog76

    NVIDIA 开源多语种语音转录模型 Nemotron 3.5 Transcribe

    NVIDIA 今天推出开源权重语音模型 Nemotron 3.5 Transcribe,单个模型即可处理转录、说话人识别和翻译,支持 40 种语言。该模型在 Hugging Face 开放 ASR 榜单排名 No.1,采用约 43 亿活跃参数,比当前排名第一的开源权重模型参数少约 80%。

    推荐理由:NVIDIA开源语音模型Nemotron 3.5 Transcribe一次完成转录、说话人分离和翻译,用本地设备即可完成多语种音频信息提取。

  2. arXiv · NLP43

    AZeroS 模型:基于自生成无指令调优扩展 LLM 至语音领域

    提出 AZeroS 模型,基于 Qwen2.5-7B-Instruct,通过自生成无指令调优(SIFT)范式扩展 LLM 至语音领域,无需收集任务特定问答对。 利用约 25,000 小时带 ASR 转录的语音和 3,000 小时带副语言标签的语音进行训练,仅更新两个 23.80M 参数的轻量投影模块,保持 LLM 和音频编码器冻结。

  3. arXiv · NLP23

    Lipi-Ghor: 一个大规模、带说话人分离的多领域孟加拉语语音语料库及其构建流水线

    Lipi-Ghor 语料库包含来自 998 个 YouTube 视频、涵盖 17 个领域的 885 小时孟加拉语音频,并带有 SSTT 格式说话人分离标注。它是首个将大规模覆盖与长形式音频的说话人分离标注相结合的孟加拉语语音语料库。语料库构建流水线可在其他拥有字幕 YouTube 资源语言中复现,原始资源以 CC-BY-4.0 许可发布。

  4. arXiv · AI25

    针对本地音频证据的匹配同类控制方法研究

    研究通过匹配同类与不同类替换测试音频语言模型对本地声事件编辑的响应。 在600个合成音景及3个模型测试中,不同类替换导致答案变化率比同类替换高49.7至60.9个百分点。 同类替换准确率与原始准确率差距在5.2个百分点内,且插入类别的选择性准确率为73.7%至81.9%。

  5. arXiv · AI24

    首个开源巴斯克语 Speech Language Model 基于 LLaMA-Omni 架构开发

    基于 LLaMA-Omni 架构,研究者构建了首个开源巴斯克语 Speech Language Model。该系统采用 Latxa 模型作为骨干网络,通过微调多个模块将文本能力迁移至语音模态,并基于英语语料翻译生成合成数据以解决数据稀缺问题。评估结果显示,系统的内容质量得分为 3.86/5,语音清晰度 WER 为 9.94%,音质 UTMOS 为 3.07。

  6. arXiv · AI34

    EvoSpeakerMem:面向多用户语音智能体的在线说话人记忆构建框架

    EvoSpeakerMem 提出免训练层实现因果说话人路由与身份分区记忆写入,解决语音智能体身份混淆问题。 引入 LoCoMo-ID 基准测试,在说话人敏感查询任务中,相比固定表征方法提升 3.86 和 11.62 个百分点。 揭示记忆碎片化与跨用户污染之间的权衡关系,单一 QA 指标无法完全捕捉该复杂性。

10月27日周二
  1. 腾讯混元85

    腾讯混元开源 Hy-SimulMT 同声传译大模型

    腾讯混元发布并开源了低时延、高准确率的 Hy-SimulMT 同声传译大模型,支持中英语音实时互译及音色克隆,实测响应时间约 3 秒。在 RealSI 评测集上,该模型在最低延迟情况下实现了最佳翻译效果,超越了主流开源模型和大部分商用 API。

    推荐理由:开源了低时延语音到语音实时翻译模型,实测效果超过主流商用API且达到人类同传专家水平。

  2. arXiv · NLP25

    1万通诈骗与垃圾电话揭示的运作机制:一个基于AI语音诱饵的大规模语料库分析

    一项基于10,211通电话(913小时音频)的分析显示,诈骗团伙复用30种开场白脚本,更倾向于索取地址和出生日期而非支付凭证。 研究表明,诈骗者对年龄每大10岁的目标会多进行15%的对话轮次,但索取敏感信息的比例(26.3%)不随年龄变化。仅凭前8句开场白,ROC-AUC达0.87即可预测诈骗升级。

  3. arXiv · NLP40

    全双工语音模型使用窗口似然优化打断与反馈响应

    全双工语音对话模型在全序列 RL 中常因奖励采样导致梯度陷阱与信用泄漏,模型在用户插话时无法正确让位或保持沉默。 研究者提出窗口似然(Window Likelihood),通过闭式积分对停止决策进行建模,替代传统逐样本奖励。 在 HumDial-FDBench 上,该方法在六款开源模型中取得最优 yield/hold F1 分数,且不增加重新抢话频率。

  4. arXiv · NLP38

    当人设与台词冲突:诊断 Chain-of-Thought TTS 中的规划到合成故障

    研究构建了日英双语人设-台词冲突基准,以诊断 Chain-of-Thought TTS 在情感冲突下的规划-合成故障。 QwenEmotion 监督使英文方向准确率升至 84%,日语达 75%;学习式文本-潜空间接口将英文最高提升至 89%,日语唤醒度达 88%。 结果证明,通过学习修复规划到合成接口可恢复与文本情感相悖的语音表现,但该效果在语言与声学维度间存在差异。

  5. arXiv · NLP22

    诊断与缓解全双工语音模型长会话退化:LoRA 微调与双分辨率上下文架构

    研究人员提出 LoRA 微调和双分辨率上下文(TRC)架构,以缓解全双工语音模型在长会话中出现的响应性、内容质量和声音一致性退化。 TRC 架构保留近期交互细节并压缩历史至 KV 表示,实验显示该方法将 KV-cache 增长减少超过 90%,并使稳定性优势延伸至训练时长之外。

  6. arXiv · NLP28

    早期工具调用:口语对话系统中的行动时机研究

    研究构建了包含 26,694 个对话、786 小时音频的口语数据管线,定义了请求最早可行动点。 管线通过受控任务生成与对齐标注支持全模态语言模型训练,实现分块级因果决策。 模型在保留对话和 $\tau^2$-bench 外部基准上分别取得 0.48 和 0.47 的 tool-state macro-F1,正确调用平均领先 1.1-2.0 秒。

10月26日周一
  1. arXiv · NLP25

    CounselPlex: 压力源感知的全双工咨询模型

    CounselPlex 是一种压力源感知的全双工咨询框架,旨在解决模型在咨询中忽视求助者核心问题的“压力源盲点”(Stressor Blindness)。 该模型通过在求助者沉默期间更新简短的压力源状态,并在倾听时将此状态注入对应位置,还引入了 RoPE 位置偏移增强(RPSA)以拓宽训练中的位置覆盖范围。

  2. arXiv · NLP22

    DIAL-S2ST:学习实时语音到语音翻译中的延迟控制

    提出后训练方法 DIAL-S2ST,通过自蒸馏和 LoRA 适配器实现实时语音到语音翻译的推理延迟控制。 该方法利用 Hibiki 模型和法英翻译任务,仅需 10 小时源语言语音即可实现质量-延迟权衡的灵活调整。 为无配对目标数据或奖励计算的场景提供了监督信号,使发射时机更早期且可控。

  3. arXiv · AI20

    Uni-Stream:用于语音合成与识别的统一流式语音语言模型

    研究提出 Uni-Stream,一个基于紧凑预训练语音模型的统一流式语音语言模型,支持语音识别与合成双向交互。 模型通过两阶段训练处理交织的文本与语音流,性能接近专用任务模型。研究者将公开发布生成的转录文本及词级时间戳。 分析发现语音与文本在统一架构中占据不同的潜在特征空间,且模态内表征在深层网络变得更依赖任务。

10月23日周五