OmniTag-LLM:多语言多任务语音标记基准 OmniTag-Bench 与 Qwen3-Omni 微调
研究提出覆盖 5 种语言的多任务语音标记基准 OmniTag-Bench,评估 10 个开源多模态 LLM 并微调 Qwen3-Omni。基准揭示非英语语音常被强行转录或翻译为英语,导致 WER 上升;微调提升 NER、情感识别及 WER,并在未见过的荷兰语上实现泛化。
研究提出覆盖 5 种语言的多任务语音标记基准 OmniTag-Bench,评估 10 个开源多模态 LLM 并微调 Qwen3-Omni。基准揭示非英语语音常被强行转录或翻译为英语,导致 WER 上升;微调提升 NER、情感识别及 WER,并在未见过的荷兰语上实现泛化。
刘燕翔离职美团创办“乎零科技”,推出 AI 语音健康戒指,已获千万级种子融资。 戒指搭载阿波罗 3 芯片,重不足 5g,续航 7 天,支持语音转写,月底启动预售。 产品旨在成为个人 AI Agent 随身入口,面向高认知复杂人群。
Gemini Decision 1 能区分 2025 年前的 AI 语音生成器,但面对 2025 至 2026 年的模型其区分能力降至接近随机水平。测试中,旧模型聚合 AUC 为 0.67,而 2025-2026 年模型仅为 0.52。
CopySpeech 是一款支持剪贴板双重复制触发 AI 语音朗读的工具,默认使用本地 Kokoro 引擎,也兼容 OpenAI 和 ElevenLabs 等云端 API。该工具具备实时字幕、0.25×–4× 变速及文本清理功能,并支持通过浏览器伴侣和 Hermes 插件扩展使用,最新稳定版本为 0.3.0。
Liquid AI 发布 d1.2 和 d1.2-ultra 决策模型版本,支持音频输入并新增读取数值、查找跨度、图像定位、数量估计和多项选择五个 API 任务。
summary_zh: 乔丹·贝尔福特与其联合创始人谢尔文·皮什瓦尔推出 AI 语音平台 Tone,该工具利用“目标导向沟通”将声明转化为提问或耳语等语调以增强销售互动。
Audible 周一上线“音频发现”功能,利用 AI 生成主题概述及读者评论摘要,结合编辑或作者评论辅助选书。该功能基于公开评论和元数据生成,旨在帮助忙碌用户快速决策,目前仅限美国部分英语书籍使用。 新功能效仿 Amazon 的商品评论总结逻辑,但可能因仅提取正面信息而限制用户接触负面评价。Recaps 和问答工具也将在 12 月扩展至更多美国书目,仅限已购书或会员使用。
AI Video to Text 是一款免费在线工具,利用约 39MB 的 Whisper 模型在浏览器本地将音视频转为带时间戳的文字,支持导出 TXT、SRT 和 VTT 格式。 该工具无需上传文件至服务器,也无账户要求或按分钟收费,支持 MP4、MP3 等格式,并覆盖 20 种语言,英文识别效果最佳。 这种本地化处理方式确保了录音隐私,适用于会议、采访及未发布媒体等对数据安全有较高要求的场景。
InnAIO 的语音翻译功能允许用户基于 30 秒样本生成克隆音色的译文,支持第三方聊天应用跨语言沟通。 该功能引发伦理争议,核心在于 AI 生成语音是否应向听者披露,以及用户对语音样本在第三方使用中的控制权。
漫步者上架花再 Halo PixelBar AI 桌面音箱,售价 699 元,国补后低至 568 元。 该音箱搭载 52mm 双全频单元,峰值功率 30W,深度绑定豆包大模型与火山引擎,提供 12 种音色。
音乐项目 Meomureur 的 AI 生成歌曲《Did You Become the Adult You Dreamed Of?》首次登顶韩国 Melon 平台 Top 100 排行榜。该歌曲于 6 月发布,在发布约五个月后超越 RESCENE 的新单曲《With》获得冠军。这是 AI 辅助歌曲首次在该平台登顶,标志着生成式 AI 在主流流行音乐市场具备竞争力。
Automatar 是一款内置 NVIDIA GPU 的智能 AI 贝斯吉他,通过嵌入 AI 模型理解演奏并电磁驱动琴弦振动,实现与人类演奏的和声互动。 该乐器采用 Pale Moon Ebony 琴体与 Mahogany 背板,使用 NVIDIA Jetson Orin NX 本地运行小型 MIDI 模型,音频由 Bela Mini 配合 Supercollider 处理。
RECOVER 提出一种 agentic 后 ASR 实体纠错框架,通过 LLM 提出约束下修正并利用确定性护栏与 LLM critic 进行筛选及反馈,解决罕见及领域特定术语识别难题。
FEND框架通过分析音频与流式转录识别外呼远端身份,20秒内输出语音信箱、IVR、AI或真人四类标签。 在公开基准测试中,其语音信箱检测准确率达100%且零真人误判;AI callee识别利用语音时序特征达到0.952 ROC-AUC。 生产环境数据显示真人误判为自动化标签的比例仅为2.9%,显著优于标准AMD仅区分人机二值标签的局限性。
摘要:FETTUCCINE 是一种移动端脑电转文本框架,在商用设备上实现 370 倍实时吞吐量,将词错误率降至 4.39%。 该模型利用自动语音识别技术,支持微调以应对神经非平稳性,并通过梯度显著性图定位关键神经特征。 这是首次在移动设备上实现脑电转文本解码,为便携式神经假体通信提供了新方案。
A$^3$ 是一种自适应音频智能体框架,将流水线阶段部署在边缘服务器,并在设备保留完整回退智能体,通过链路感知截止时间决定何时放弃服务器。在 Jetson 设备与 RTX A4500 服务器上,A$^3$ 在链路正常时性能与纯服务器智能体持平,在 AGX 全断网时响应所有请求,且在模拟断网中优于百分位对冲策略。
研究在西班牙语、普通话、英语和日语四种语言的数据集中,通过统计、专家引导及机器学习方法筛选出紧凑的声学特征集,用于认知障碍检测。 发现时序特征在所有数据集中表现稳健,而语速特征主要在外置锚定内容的单人任务中有效,音高特征在声调语言与非声调语言中呈现不同模式。 研究强调了避免盲目混合异构语音数据的重要性,并支持采用可解释且情境感知的方法进行多语言痴呆筛查。
用户因体验不佳而弃用 YouTube Music 和 Spotify 的 AI DJ 功能,核心痛点在于评论内容的空洞与事实错误。 YouTube 的 Beyond the Beat 曾误读 Charli XCX 歌曲并出现发音错误,Spotify 的 AI 评论则过度使用口语填充词。
名为 Beau 的应用推出六款具备不同性格与语音模式的 AI 伴侣,支持日常对话、语音通话及语音备忘录。 用户可免费使用并体验浪漫互动故事,应用强调隐私保护,聊天数据不会被出售,且可随时删除历史记录或账号。
苹果首款智能家庭中枢 HomeView 于 11 月 13 日上市,首批评测指出其 Siri AI 表现不佳且存在隐私隐患。该设备配备 7 英寸 Liquid Retina 屏与 A18 芯片,支持人脸识别最多 6 名用户,但 Siri 常答非所问或卡住。测试发现家庭成员隐私信息可能在共享屏幕暴露,个性化设置及流媒体支持有限。
作者花费 11 个月构建游戏 AI 陪伴系统 Monday,当前版本为 v8,核心挑战在于避免回应滞后及重复播报比分。 该 AI 系统旨在观察玩家行为并在游戏中进行语音互动,需解决语音卡顿、计数错误及上下文缺失等实际问题。 作者重点探讨如何判断响应时机而非仅关注速度与准确性,旨在提升互动相关性。
Meta 旗下 AI 智能体 Muse 推出代打电话功能,开通高级付费订阅后,用户能让 Muse 代替自己联系美国商家。用户可以借助 Muse 联系保险公司、有线电视服务商、预约美国车管部门业务或电话订位,Muse 使用 AI 合成语音与商家工作人员交谈。
DeepSeek 正式开放应用 API,支持联网搜索、深度思考、文件上传、链接阅读及语音识别与语音合成独立调用。V4.1-Flash 模型在 Messages、Responses 和 Chat Completions 接口下支持这些扩展功能,并开源了轻量级聊天前端 Demo。
开发者利用 LLM-TDD 方法论构建 WhatsApp 语音转写工具 WhatYouSay。 通过 LLM 编写代码并预先设定评估测试,针对多语言场景优化了 Whisper 转录及清洗流程。 该流程将语音转写词匹配率从 69.9% 提升至 86.4%,解决了模型误修正口语和早期停止问题。
CD Projekt Red 确认《巫师 3:狂猎》扩展包采用 Respeecher 的 AI 语音转换技术,以还原杰洛特波兰语配音演员 Jacek Rozenek 的中风前声线。
苹果推送 tvOS 27.2.1 更新,为第二代和第三代 Apple TV 4K 新增 Siri AI 支持,用户无需更换硬件即可升级语音助手。 该版本需配合支持苹果智能的 iPhone 或 iPad 进行设置,同时为第四代 Apple TV 4K 增加了连接最多四个 HomePod 的环绕声功能。
AssemblyAI 采用 Amazon EC2 Spot 与按需实例混合架构,在保持 SLA 的前提下大幅降低大规模 GPU 推理成本。 架构基于 Amazon ECS 多容量提供者策略,分散使用 g4dn、g5、g6 实例族,并通过 Amazon SQS 实现中断任务自动重试。 该方案满足医疗、金融等行业的欧洲数据驻留合规要求,已在 AWS Marketplace 提供 API 服务。
Meta 的 Muse 智能体现在可以为美国付费用户给美国企业打电话。该功能在9月测试,现已对美国付费用户开放。它可处理给有线公司、DMV(车辆管理局)和餐厅的繁琐电话,未来还将提供免费邮箱。
ElevenLabs 在纽约 11/11 峰会上发布了预览版应用 ElevenAI,整合跨会议记录、实时语音转写、多语言输入及基于会议内容的智能体自动跟进功能,面向团队而非个人用户。该应用目前需注册早期访问权限,支持 90 多种语言的语音转写,并可与 ElevenAgent 配合实现邮件草稿生成等自动化操作。
DeepSeek 宣布开放全家桶应用 API,开发者在原有 API 中开启参数即可使用深度思考搜索、文件输入及联网抓取功能,实现与完整 DeepSeek App 一致的能力。官方同时提供了独立的搜索、OCR、ASR 及 TTS 接口,并开源了支持导入历史对话的轻量前端 Demo。使用相关扩展功能需额外支付调用费用,其中文字与图片搜索、网页抓取均定价为 5 元/千次。
推荐理由:DeepSeek 开放了包含深度思考搜索、多模态输入及底层语音接口的全家桶 API,并提供前端 Demo 与详细计费标准。
Moozix 等七款 AI 工具提供混音或母带处理,其中 Moozix、Bandmixr 等支持多轨混音,LANDR 等仅做立体声母带。Moozix 免费版支持 16 轨,Pro 版 38 轨且 $9/月;Bandmixr 付费版支持 24 轨且 $14/月。 各平台隐私政策各异,Bandmixr 明确承诺上传文件不用于模型训练。
Gentle Monster 和 Warby Parker 宣布将于 12 月 10 日正式发售基于 Android XR 平台打造的智能眼镜,该产品由三星与谷歌联合参与开发。
苹果为 HomeView 推出首个固件更新 Software Version 27.2,修复 iMessage 远程入群及蓝牙未授权配对等安全漏洞。 该更新涉及多个系统组件,限制攻击者绕过配对验证码限制或破坏进程内存,并计划下月为 Siri AI 增加门锁与车库门解锁支持。
ElevenLabs 推出了 Scribe v3 及其实时版本 Scribe v3 Live。Scribe v3 在录制音频中的词错误率比前代降低约 25%,且能处理串音和背景噪音;Live 版本利用对话上下文,让语音智能体在遇到短暂停顿等待时不会切断通话。
Witness是一款为AI编码智能体设计的语音锚定因果证据记录器,通过记录语音、操作和页面变化生成结构化证据包。用户安装后运行命令即可在管理浏览器中一边操作一边描述问题,系统将语音转录与点击后的控制台报错、DOM变更及截图关联。生成的证据包支持MCP协议,允许Claude Code或Cursor等智能体直接读取,无需额外API密钥。
腾讯混元发布全新实时语音模型 Hy Realtime,在语音理解、指令遵循与拟人化表达上升级,并新增 Agentic 工具调用与唱歌能力。该模型支持自然语言点歌与多轮上下文匹配歌曲演唱,已上线元宝语音通话和腾讯客服,近期将上线腾讯云提供 API 服务,当前版本可通过最新版元宝 App 或网页 Demo 体验。
推荐理由:原文给出了 Hy Realtime 新增唱歌与工具调用的具体能力,并明确其已上线元宝语音通话和腾讯客服,并即将上线腾讯云 API,为读者提供了直接体验与接入入口。
Kezek 将双人单声道录音分离为对应时长的独立音轨,保留重叠及短回复归属。 两阶段模型结合声纹指纹与条件时域分离器,短回复保留率达 0.83,速度提升 4-5 倍。 代码与权重以宽松许可证开源,填补全双工对话数据中静音短回复缺失的技术空白。
ZONOS3-Mini 是一款超紧凑型实时零样本语音克隆 TTS 模型,可在笔记本电脑或手机上运行。 模型采用 886M 参数的潜在 MoE 骨干网络(每 token 激活 100M)及 15 Hz 帧率的 ZAC-1 音频编解码器,支持 44.1 kHz 音频。 在 ZTTS2-Eval 基准上,其 55 个语言集的宏平均 WER 为 6.71%,模型权重与代码已开源。
summary_zh: WavCube 提出紧凑连续潜在表征,通过两阶段训练同时支持语音理解、重建与生成,在 8 倍维度压缩下接近 WavLM 在 SUPERB 上的表现。
研究指出,WER相同的ASR系统在流式听写下故障模式不同。Zoom Scribe与OpenAI GPT-Live-Transcribe在安静英文下WER分别为7.4%和7.3%,但在耳语英文下分别为34.7%和8.8%。