SpeechLLM 轻量级适配用于多模态情绪识别
在 SpeechLLM 顶部增加线性分类头比生成标签更适合情绪识别。在 IEMOCAP 数据集使用 ASR 转录本的多种配置中,该方法将 Macro F1 提升至 76.97%。
在 SpeechLLM 顶部增加线性分类头比生成标签更适合情绪识别。在 IEMOCAP 数据集使用 ASR 转录本的多种配置中,该方法将 Macro F1 提升至 76.97%。
VIRBA 提出了一种针对语音大语言模型(SpeechLM)的强化学习框架,旨在解决同一语义指令在不同声学条件下导致行为策略不一致的问题。 该框架通过构建多视角语音指令组,结合语义偏好、规则可验证性及跨声学不变性奖励,利用 CA-GRPO 优化模型。实验表明,VIRBA 在推理密集型和受声学干扰的语音提示上取得了最大性能提升,该成果已被 NeurIPS 2026 接收。
论文提出 Long Listening Thoughts (LLT) 框架,通过四阶段流水线生成 1.6M 条推理轨迹,采用 SFT 和 DPO 训练 Qwen2.5-Omni-7B。
本地可执行系统 oollim 在消费级计算机上评估 L2 英语发音,利用 XLS-R 和 XEUS 等预训练表征,无需微调模型。 在 305 条独立录音上,oollim 的多个配置在准确率、流利度和韵律指标上显著优于 2026 年 1 月的 Azure API 存档分数。 该系统证明了在消费级硬件上进行专家级语音评估的可行性,且无需在私有数据上进行校准。
Heartbeat Thinking 范式允许语音智能体在监听期间持续进行推测性推理和工具执行,将等待时间转化为准备工作。 在 FDBench v3 基准测试中,该方法将工具覆盖率提高 16 个百分点,平均最终响应延迟降低 36.4%。 这一机制保留了语音输入过程中的持续计算能力,提升了语音智能体的响应速度与工具利用能力。
本文提出VISAGENT,一个面向大规模公共服务的基于智能体的端到端语音交互系统。 该系统通过两级路由范式在数百个智能体中实现亚秒级意图选择,支持用户记忆和动态智能体注册,已在114热线部署验证。 其低延迟全双工交互与可扩展性为构建智能体中心对话基础设施提供通用蓝图。
研究人员通过覆盖13类非语言发声(NVV)的自动合成数据集,提升了语音交互模型在共情互动和角色扮演中生成适当NVV事件的能力。 该方法采用多阶段微调和NVV感知的GRPO进行优化,实质性增强了VocalNet和VITA-Qinyu两个模型的表达力。 研究进一步讨论了实现高质量自然语音生成的架构必要性。
研究构建了3,395通电话、15,102个标注目标的高质量数据集,用于训练能代接电话并生成摘要的小型语言模型。 该数据基于合成通话与信息边界约束生成,经模型审查筛选。使用单个共享LoRA适配器微调0.6B-4B参数模型,测试了192通留出通话。 回复合格率从21-54%提升至94-97%,摘要合格率从0-6%提升至43-72%。后续人机研究将验证该评估标准的有效性。
研究表明,在 BabyLM 规模下,带有韵律注释的音素流在 10M 和 100M 词数据量时均能产生最强的语义分类组织。 该研究对比了正字法基线与三种音系丰富度条件,通过新的词汇判断任务发现,三音素音系控制表明传统评分主要反映音系熟悉度而非词性。韵律结构被视为小数据范式下音素语言建模的关键组件,与婴儿学习机制高度相似。
研究在预训练对话 TTS 模型中引入音素控制,无需预训练,利用 ARPAbet 扩展与推理时声学偏置,将 7,500 条药物发音测试的严格准确率从 54.6% 提升至 90.7%。 在盲测研究中,84% 的音频被判定为正确,优于最强基线(82%),且所有评估药物均未在训练阶段出现,证明提升源于发音学习而非记忆。
蚂蚁百灵宣布开源 Ming-3.0 语音系列,覆盖语音合成、音频理解与对话、语音识别三个方向,共五款模型。开发者可按任务选择,也可将不同能力组合进工作流。Ming-3.0-tts 支持音色设计与导演模式,已在阿福 App、医生音色克隆、小虎智能办公等业务使用;Ming-3.0-asr-tiny 用于阿福医生助手、支付宝搜索、蚁小保实时语音对话和安全核身等场景。
日本演员协会(JAU)发布生成式 AI 使用准则第一版,规定复刻演员声音全流程须获同意。 准则明确 AI 训练需获许可,生成语音视作表演须支付报酬或版税,该工会拥有约 2600 名会员。 《龙珠》悟空配音演员野泽雅子怒批 AI 盗用声音如盗窃,指出 AI 复刻版本缺乏情感。
Sesame AI 承认已映射且可复现用户语音,但官方在用户指出该功能后将其定性为“故障”。 用户因披露 Miles 曾告知其声纹被映射一事,在 Discord 社区中被封禁,引发关于 AI 行业混淆事实与幻觉的争议。 作者认为这种不透明的沟通方式可能导致 AI 社区产生分裂。
Inception 发布 Mercury 3,称其为迄今最强的扩散式 LLM,在 NVIDIA GPU 上跑 1,068 tokens/s,上下文 1M tokens,价格 $0.20/1M 输入、$0.70/1M 输出,发布期 5 折。
Deepgram 将 Nova-3 语音转写模型移植至 AWS Trainium2,单实例运行 8 个模型副本,批量处理音频成本降低 11–70%。 采用 TorchNeuron 编译消除 CPU 回退,替换 NKI 内核并微调 FFN 与卷积层,在 batch size 96 时实现 2.0 倍至 50 倍速度提升。
苹果已收购瑞士苏黎世 AI 音频编辑公司 Samplab,将获取其部分资产并聘用部分员工。 Samplab 成立于 2020 年,团队规模不超过 10 人,核心能力包括修改任意音符、识别编辑和弦及精细化音轨分离。 苹果计划将该技术整合进 Logic Pro 等软件,在现有 2024 年引入的 AI 音轨分离基础上,进一步支持直接编辑和弦中的单个音符。
阿里语音团队团队发文解读流式自动语音识别(Streaming ASR)的技术演进。文章对比了 Hybrid 解码、CTC、RNN-T、Attention 及大模型时代的四种流式实现路线,指出核心矛盾在于准确率与延迟的平衡。作者建议根据输入法、会议转写或语音智能体等不同场景,结合 WER、发射延迟和系统吞吐等指标综合选择技术方案。
TurboScribe AI 提供免注册音视频转文字服务,基于 WebAssembly 技术在用户本地设备运行 Whisper 模型。 支持 MP4、MP3 等格式,导出 TXT、SRT 或 VTT 文件;首次运行需下载约 39 MB 模型并缓存。 用户数据无需上传服务器,避免了传统在线服务的隐私泄露风险与按分钟计费限制。
SBN(Stellar Broadcasting Network)于10月1日上线,四座电台均已运行。 幕后软件栈包括 Python/Django 后端、FFmpeg 流媒体处理及基于 Web Audio API 的浏览器工作室。 创始人计划将其发展为商业广播业务,并强调需通过协作优化生产工具与流程。
提出 TargetSEC 框架,在紧凑潜在空间生成以说话人身份和连续情感为条件的风格嵌入,而非在频谱图上扩散。在 MSP-Podcast 数据集上,其转换 MSE 和自然度匹配或超过有时长预测基线,且优于现有非时长基线。
VietMed 是一个越南语医疗语音识别数据集,包含 16 小时标注、1000 小时未标注医疗及 1200 小时通用语音数据,是迄今最大的公开医疗语音数据集。 发布模型 XLSR-53-Viet 在医疗测试集上将 WER 从 51.8% 降至 29.6%,相对降低超 40%。 首次覆盖全部 ICD-10 疾病组和国内所有口音,相关代码、数据和模型均已公开。
研究通过18项指标及LLM评审等,对比Qwen3-TTS的ICL与X-Vector接口在四种场景下的表现,发现领域比系统选择更能解释方差。 Qwen3-TTS在清晰度上领先但韵律欠佳,标准反制措施无法有效识别其克隆音频,且在航空管制无线电场景下所有系统均失效。 代码与音频已开源发布。
EmoShift 基准测试显示,语音内部的情绪变化会改变深度伪造检测结果。 该测试包含 7,240 条真实语句和 9,720 条由四个 TTS 系统生成的合成语句。在七个检测器中,情绪变化使合成语音的遗漏率最高增加 25.3 个百分点,真实语句的误报率最高增加 24.4 个百分点。 结果强调情绪动态在深度伪造检测中的重要性。
Flash RNN-T 提出结合专用内核与可选分块重计算的联合实现,解决了 RNN-T 训练中间张量内存占用大的问题。 在 H100 上,非分块 Flash 较最快基线吞吐量高 24-39% 且内存减少 26-56%;分块 Flash 内存进一步降低至基线的九分之一,吞吐量降低 16%。 该实现将在 Interspeech 2027 上提交,覆盖中等及长工作负载。
ConvexLLM 提出 C-Gate 接口,将音频表示为冻结文本嵌入的连续凸组合。模型在 VoiceBench 11 项任务中得分为 75.36,MMAU Test-mini 准确率为 62.50%,在口述知识与推理任务上优势显著。
研究团队提出BEST两阶段框架,无需依赖大生成模型即可实现神经到文本的高效解码。 在Brain-to-Text 24和25基准测试中,BEST分别取得6.19%和1.62%的WER,仅使用可比方法3.85%的参数。 该框架通过层级中间表征和紧凑语音解码器降低计算成本,揭示了跨模态对齐比模型规模更关键,适用于资源受限场景。
移除填充语和标点会降低对话行为分类性能,重标准化在全部15个神经模型与语料组合下均导致 Macro-F1 下降。 在 Switchboard 和 MRDA 语料上,标点移除分别使 Macro-F1 降低 0.036 和 0.078。 研究支持根据具体任务进行转录标准化,而非无差别处理。
论文提出一种噪声鲁棒强制对齐方法,通过 WavLM 特征和自举训练实现鲁棒对齐。 在 Buckeye 和 FluencyBank 数据集上,词边界 MAE 分别为 20.6ms 和 76.9ms,比最强基线降低 19% 和 17%。 大幅降低 >200ms 的灾难性错误,对笑声等事件的处理比现有对齐器更鲁棒。
MeetCap 是一款免费的本地 AI 会议记录应用,所有转写和 AI 处理均在用户电脑完成,不上传录音。应用支持实时字幕、会后生成会议纪要(支持中英文混合、语音识别纠错),并可通过 API 或本地模型调用 Claude、Gemma 等生成摘要。
荣耀车联功能更新,新增智慧车控功能,用户可通过手机查看车辆状态、一键控车,并支持 YOYO 语音一句话控车。 目前该功能仅支持比亚迪旗下车型。 此前比亚迪与荣耀达成战略合作,双方将 A2A 打通车机与手机语音智能体。
Universal Modder 开源的 NPCTalk 为《侠盗猎车手 5》带来无脚本实时 NPC 对话,玩家可通过麦克风与角色交谈,角色会按语境回应。
Reddit用户分享了NPCTalk项目,该项目基于开源模型实现游戏NPC的实时交互功能。系统使用NVIDIA Nemotron ASR进行语音转写,Qwen 3.8 27B处理实时对话,Fish Audio Drama 3生成克隆语音,并部署在Serverless GPU上。在GTA V中,NPC能在1秒内以角色身份和克隆语音回复玩家指令并执行动作。
Wisp 是一款佩戴在肩部的语音 AI 设备,其核心功能是在浏览器中实现空间音频交互。 该工具通过硬件传感器捕捉肩部动作,利用 Web 技术栈将声音定位在虚拟空间中,无需独立 APP 支持。
独立开发者正在制作一款利用 AI 工具的混合视觉小说《Roche.Limit》,预计还需 1-3 年完成开发。 目前主要使用 GPT Image 和 InvokeAI 生成图形,Suno 处理音乐,Claude 与 ChatGPT 协同编写代码。故事由作者原创,AI 仅用于草稿润色和语法修正。
Killa YuE v1.6.0 发布,该应用基于 M-A-P 开源模型 YuE2,支持在 Android 手机 GPU 本地生成带人声的完整歌曲。应用提供 P2P 音频托管功能,可通过二维码将歌曲和模型在局域网或热点内设备间共享,支持离线生成与端侧运行。
推荐理由:展示了在Android端侧通过本地GPU生成带人声完整歌曲,并附带P2P音频托管能力的实现路径。
王腾接受采访分享离职小米一年来的心路历程,坦言经历低谷后迅速调整并找到新方向。 他感谢在小米九年获得的完整产品线视角及方法论实践积累,表示对过去经历顺其自然。 其创立的 ISHO 今日宜休 AI 健康科学团队近期正式亮相。
一款名为 Theaters 的 macOS 本地私有 AI 字幕应用上线,默认在设备端运行语音识别与翻译。 支持 25 种语言,使用 Apple Silicon 和 FluidVoice,数据不出设备且无遥测。 个人免费,企业许可为每年每台 Mac 60 美元,最低 5 台起售。
Weights AI 上线了一款基于浏览器的 AI 歌曲翻唱生成器。用户可从超过 2,000 个社区共享的 RVC 语音模型中选择,或使用 10 分钟独唱录音训练自己的私有语音模型。
TurboScribe AI 发布一款免费音视频转文字工具,通过在浏览器本地运行 Whisper 模型实现转录,无需上传文件或注册账号。该工具支持 MP3、MP4 等格式,可将结果导出为 SRT、VTT 字幕或纯文本,主要适用于对隐私要求较高的会议记录与内容创作场景。
Ray-Ban Meta 智能眼镜出现缺陷,在关闭'Respond without Hey Meta'功能时也能在未触发'Hey Meta'唤醒词的情况下自动录制并保存语音和转录文本。该问题已被 Meta 修复,此事件发生在 Amazon 推出常听 Bee 设备数日后。