跳到正文
10月20日周二
  1. arXiv · NLP28

    VIRBA:通过强化行为对齐增强语音大语言模型的跨声学鲁棒性

    VIRBA 提出了一种针对语音大语言模型(SpeechLM)的强化学习框架,旨在解决同一语义指令在不同声学条件下导致行为策略不一致的问题。 该框架通过构建多视角语音指令组,结合语义偏好、规则可验证性及跨声学不变性奖励,利用 CA-GRPO 优化模型。实验表明,VIRBA 在推理密集型和受声学干扰的语音提示上取得了最大性能提升,该成果已被 NeurIPS 2026 接收。

  2. arXiv · NLP22

    oollim 系统:在消费级硬件上评估 L2 英语发音、流利度与韵律

    本地可执行系统 oollim 在消费级计算机上评估 L2 英语发音,利用 XLS-R 和 XEUS 等预训练表征,无需微调模型。 在 305 条独立录音上,oollim 的多个配置在准确率、流利度和韵律指标上显著优于 2026 年 1 月的 Azure API 存档分数。 该系统证明了在消费级硬件上进行专家级语音评估的可行性,且无需在私有数据上进行校准。

  3. arXiv · NLP30

    Heartbeat Thinking:实时语音智能体中的推测性推理与工具执行

    Heartbeat Thinking 范式允许语音智能体在监听期间持续进行推测性推理和工具执行,将等待时间转化为准备工作。 在 FDBench v3 基准测试中,该方法将工具覆盖率提高 16 个百分点,平均最终响应延迟降低 36.4%。 这一机制保留了语音输入过程中的持续计算能力,提升了语音智能体的响应速度与工具利用能力。

  4. arXiv · NLP41

    VISAGENT:基于智能体的端到端语音交互系统

    本文提出VISAGENT,一个面向大规模公共服务的基于智能体的端到端语音交互系统。 该系统通过两级路由范式在数百个智能体中实现亚秒级意图选择,支持用户记忆和动态智能体注册,已在114热线部署验证。 其低延迟全双工交互与可扩展性为构建智能体中心对话基础设施提供通用蓝图。

  5. arXiv · NLP21

    Speech LLMs 呼吸建模:非语言发声在对话中的研究

    研究人员通过覆盖13类非语言发声(NVV)的自动合成数据集,提升了语音交互模型在共情互动和角色扮演中生成适当NVV事件的能力。 该方法采用多阶段微调和NVV感知的GRPO进行优化,实质性增强了VocalNet和VITA-Qinyu两个模型的表达力。 研究进一步讨论了实现高质量自然语音生成的架构必要性。

  6. arXiv · NLP31

    构建受控回复与摘要数据以支持小型语言模型AI通话筛选智能体

    研究构建了3,395通电话、15,102个标注目标的高质量数据集,用于训练能代接电话并生成摘要的小型语言模型。 该数据基于合成通话与信息边界约束生成,经模型审查筛选。使用单个共享LoRA适配器微调0.6B-4B参数模型,测试了192通留出通话。 回复合格率从21-54%提升至94-97%,摘要合格率从0-6%提升至43-72%。后续人机研究将验证该评估标准的有效性。

  7. arXiv · NLP21

    BabyLM 规模下韵律结构对音素语言建模的关键作用

    研究表明,在 BabyLM 规模下,带有韵律注释的音素流在 10M 和 100M 词数据量时均能产生最强的语义分类组织。 该研究对比了正字法基线与三种音系丰富度条件,通过新的词汇判断任务发现,三音素音系控制表明传统评分主要反映音系熟悉度而非词性。韵律结构被视为小数据范式下音素语言建模的关键组件,与婴儿学习机制高度相似。

  8. arXiv · NLP23

    预训练对话TTS模型的音素适配:提升生僻药物发音准确率

    研究在预训练对话 TTS 模型中引入音素控制,无需预训练,利用 ARPAbet 扩展与推理时声学偏置,将 7,500 条药物发音测试的严格准确率从 54.6% 提升至 90.7%。 在盲测研究中,84% 的音频被判定为正确,优于最强基线(82%),且所有评估药物均未在训练阶段出现,证明提升源于发音学习而非记忆。

  9. IT之家74

    蚂蚁百灵开源 Ming-3.0 语音系列模型,覆盖语音合成、音频理解与对话、语音识别

    蚂蚁百灵宣布开源 Ming-3.0 语音系列,覆盖语音合成、音频理解与对话、语音识别三个方向,共五款模型。开发者可按任务选择,也可将不同能力组合进工作流。Ming-3.0-tts 支持音色设计与导演模式,已在阿福 App、医生音色克隆、小虎智能办公等业务使用;Ming-3.0-asr-tiny 用于阿福医生助手、支付宝搜索、蚁小保实时语音对话和安全核身等场景。

  10. IT之家41

    日本演员协会发布 AI 语音使用准则,龙珠悟空配音演员怒批 AI 盗用其声音

    日本演员协会(JAU)发布生成式 AI 使用准则第一版,规定复刻演员声音全流程须获同意。 准则明确 AI 训练需获许可,生成语音视作表演须支付报酬或版税,该工会拥有约 2600 名会员。 《龙珠》悟空配音演员野泽雅子怒批 AI 盗用声音如盗窃,指出 AI 复刻版本缺乏情感。

  11. R/ArtificialInteligence20

    Sesame AI 被指映射用户声纹,官方将其称为“故障”引发社区争议

    Sesame AI 承认已映射且可复现用户语音,但官方在用户指出该功能后将其定性为“故障”。 用户因披露 Miles 曾告知其声纹被映射一事,在 Discord 社区中被封禁,引发关于 AI 行业混淆事实与幻觉的争议。 作者认为这种不透明的沟通方式可能导致 AI 社区产生分裂。

10月19日周一
  1. IT之家38

    苹果收购 AI 音频编辑公司 Samplab,有望为 Logic Pro 引入更精细的音频编辑功能

    苹果已收购瑞士苏黎世 AI 音频编辑公司 Samplab,将获取其部分资产并聘用部分员工。 Samplab 成立于 2020 年,团队规模不超过 10 人,核心能力包括修改任意音符、识别编辑和弦及精细化音轨分离。 苹果计划将该技术整合进 Logic Pro 等软件,在现有 2024 年引入的 AI 音轨分离基础上,进一步支持直接编辑和弦中的单个音符。

  2. 阿里语音AI54

    阿里语音团队解读流式 ASR 技术演进:从 Hybrid 系统到大模型语音识别

    阿里语音团队团队发文解读流式自动语音识别(Streaming ASR)的技术演进。文章对比了 Hybrid 解码、CTC、RNN-T、Attention 及大模型时代的四种流式实现路线,指出核心矛盾在于准确率与延迟的平衡。作者建议根据输入法、会议转写或语音智能体等不同场景,结合 WER、发射延迟和系统吞吐等指标综合选择技术方案。

  3. Hacker News AI34

    TurboScribe AI:免注册本地音视频转文字工具

    TurboScribe AI 提供免注册音视频转文字服务,基于 WebAssembly 技术在用户本地设备运行 Whisper 模型。 支持 MP4、MP3 等格式,导出 TXT、SRT 或 VTT 文件;首次运行需下载约 39 MB 模型并缓存。 用户数据无需上传服务器,避免了传统在线服务的隐私泄露风险与按分钟计费限制。

  4. arXiv · NLP20

    VietMed:越南语医疗领域自动语音识别数据集与基准

    VietMed 是一个越南语医疗语音识别数据集,包含 16 小时标注、1000 小时未标注医疗及 1200 小时通用语音数据,是迄今最大的公开医疗语音数据集。 发布模型 XLSR-53-Viet 在医疗测试集上将 WER 从 51.8% 降至 29.6%,相对降低超 40%。 首次覆盖全部 ICD-10 疾病组和国内所有口音,相关代码、数据和模型均已公开。

  5. arXiv · NLP46

    Qwen3-TTS 基准之外的条件设置、领域与失效模式研究

    研究通过18项指标及LLM评审等,对比Qwen3-TTS的ICL与X-Vector接口在四种场景下的表现,发现领域比系统选择更能解释方差。 Qwen3-TTS在清晰度上领先但韵律欠佳,标准反制措施无法有效识别其克隆音频,且在航空管制无线电场景下所有系统均失效。 代码与音频已开源发布。

  6. arXiv · NLP23

    EmoShift 基准测试揭示语音深度伪造检测器在情绪变化下的失效模式

    EmoShift 基准测试显示,语音内部的情绪变化会改变深度伪造检测结果。 该测试包含 7,240 条真实语句和 9,720 条由四个 TTS 系统生成的合成语句。在七个检测器中,情绪变化使合成语音的遗漏率最高增加 25.3 个百分点,真实语句的误报率最高增加 24.4 个百分点。 结果强调情绪动态在深度伪造检测中的重要性。

  7. arXiv · ML25

    Flash RNN-T:内存高效的 RNN-T 联合网络与 Transducer 损失计算

    Flash RNN-T 提出结合专用内核与可选分块重计算的联合实现,解决了 RNN-T 训练中间张量内存占用大的问题。 在 H100 上,非分块 Flash 较最快基线吞吐量高 24-39% 且内存减少 26-56%;分块 Flash 内存进一步降低至基线的九分之一,吞吐量降低 16%。 该实现将在 Interspeech 2027 上提交,覆盖中等及长工作负载。

  8. arXiv · NLP28

    BEST框架:高效神经解码挑战语音脑机接口大模型必要性

    研究团队提出BEST两阶段框架,无需依赖大生成模型即可实现神经到文本的高效解码。 在Brain-to-Text 24和25基准测试中,BEST分别取得6.19%和1.62%的WER,仅使用可比方法3.85%的参数。 该框架通过层级中间表征和紧凑语音解码器降低计算成本,揭示了跨模态对齐比模型规模更关键,适用于资源受限场景。

  9. R/ArtificialInteligence68

    NPCTalk 让游戏NPC实时对话

    Reddit用户分享了NPCTalk项目,该项目基于开源模型实现游戏NPC的实时交互功能。系统使用NVIDIA Nemotron ASR进行语音转写,Qwen 3.8 27B处理实时对话,Fish Audio Drama 3生成克隆语音,并部署在Serverless GPU上。在GTA V中,NPC能在1秒内以角色身份和克隆语音回复玩家指令并执行动作。

10月18日周日
  1. Hacker News AI78

    Killa YuE v1.6.0 发布:支持Android本地AI人声歌曲生成与P2P音频托管

    Killa YuE v1.6.0 发布,该应用基于 M-A-P 开源模型 YuE2,支持在 Android 手机 GPU 本地生成带人声的完整歌曲。应用提供 P2P 音频托管功能,可通过二维码将歌曲和模型在局域网或热点内设备间共享,支持离线生成与端侧运行。

    推荐理由:展示了在Android端侧通过本地GPU生成带人声完整歌曲,并附带P2P音频托管能力的实现路径。

  2. Hacker News AI34

    Show HN: 连接字幕本地私有 AI 翻译器

    一款名为 Theaters 的 macOS 本地私有 AI 字幕应用上线,默认在设备端运行语音识别与翻译。 支持 25 种语言,使用 Apple Silicon 和 FluidVoice,数据不出设备且无遥测。 个人免费,企业许可为每年每台 Mac 60 美元,最低 5 台起售。

10月17日周六