跳到正文
11月19日周四
  1. IT之家25

    理想汽车官宣上线菁彩声 Audio Vivid,支持声音对象精准空间定位

    理想汽车宣布上线菁彩声 Audio Vivid,支持声音对象的精准空间定位与动态渲染。 人声、乐器与环境音可独立分布,声源位置随内容实时变化;网易云音乐、汽水音乐、喜马拉雅已上线相关音频内容。 该标准源自 UWA 联盟,是全球首个基于 AI 技术的音频编解码标准,已应用于总台春晚等大型活动直播。

  2. IT之家76

    火山引擎上线豆包 SeedRealtime 1.0 API,实现全模态实时交互

    火山引擎正式全量上线豆包实时音视频通话模型 SeedRealtime 1.0 API 服务。该模型将声音、画面、时序与表达统一到端到端架构中,替代了传统的 ASR、VLM、TTS 级联系统,降低了交互延迟与信息损耗。

    推荐理由:火山引擎上线豆包 SeedRealtime 1.0 API,该模型将音视频流统一至端到端体系,实现了主动交互与实时判断。

  3. arXiv · ML23

    无标签课堂录音中基于结构迁移的教师分割方法

    提出无标签课堂录音教师分割管道,在292条录音中实现0.81和0.87的教师F1分数,优于基线模型。 管道在智能手机上比pyannote快4.8倍,实时因子约0.18,滤波音频转录仅使教师词错误率从0.26升至0.28。 支持隐私保护部署,通过无标签推理标记不可分割会话以人工复核。

  4. Hacker News AI79

    Higurashi 开源全双工语音基础模型 Haru-4B

    Higurashi 发布并开源全双工语音基础模型 Haru-4B,支持同步听与说,在 MacBook 上端到端延迟约 65 毫秒。模型基于 4000 万小时真实语音预训练,避免使用合成对话,权重与代码分别在 Hugging Face 和 GitHub 开放。

    推荐理由:模型在 Apple Silicon 上实现 65 毫秒端到端延迟,且完全基于真实对话数据训练。

11月18日周三
  1. LessWrong · All Posts22

    利用 Claude 设计 3D 打印适配器将 Stroh 小提琴改造为 Talkbox

    作者受 Alexander Lozyakov 演奏 Stroh 小提琴 Talkbox 的视频启发,利用 Claude 设计并 3D 打印出漏斗形适配器,成功将 Stroh 小提琴改装为 Talkbox。 该适配器由约 21g 的 PETG 材料制成,因乐器螺孔间距不均,需磨除 2 处各约 1mm 材料后方可安装。由于共振膜暴露类似开放式耳机,部分声音直接漏出,实际 Talkbox 效果低于预期。

  2. IT之家81

    微软发布语音对语音模型 MAI Realtime 1:起价每分钟 0.01 美元,性能超 GPT Realtime 2.1

    微软在 Ignite 2026 大会上发布其首款语音对语音模型 MAI Realtime 1,基础语音使用费为每音频分钟 0.01 美元,涉及推理时按每百万输入 token 1 美元、每百万输出 token 5 美元计费。

    推荐理由:原文给出了MAI Realtime 1 的定价结构、与 GPT Realtime 2.1 的基准对比以及 API 兼容范围,读者可据此判断其实际成本与迁移门槛。

  3. IT之家68

    微软升级 Dragon Copilot Transcribe,多语言错误率降 50%

    微软在 Ignite 2026 上宣布 Dragon Copilot Transcribe 正式采用 MAI-Transcribe-2,承担全部医患对话转写任务,并实现多语言工作流约 50% 的错误率下降。该模型月处理约 1000 万次患者就诊场景,覆盖全美约三分之一医师,支持多种语言及混说场景,FLEURS 60 种语言平均词错误率为 5.2%,限时价格为每小时音频 0.10 美元。

  4. Hacker News AI75

    研究人员利用域名重置接管 Kokoro 模型账户以演示供应链攻击

    研究人员因 Hugging Face 缺乏所有权验证,注册 Kokoro 开发者域名重置密码并控制其账户。他们仅用 87 秒在消费级 GPU 上微调模型权重,使其输出与文本不符的音频,应用代码未做任何改动,且该恶意更新不会触发安全扫描器警报,揭示了 Hugging Face 平台对模型分发和账户真实性的广泛信任风险。

11月17日周二
  1. IT之家40

    谷歌为移动平台 Gemini 应用推出 66 种地区语音,覆盖 7 类语言

    谷歌为移动平台 Gemini 应用推出 66 种地区语音,覆盖 7 个语言类别。 新增语音包括美式英语、英式英语、印度英语、印地语、巴西葡萄牙语、印度尼西亚语和韩语,其中英国用户可选 10 余种地区口音。 语音适用于 Gemini Live 和文本转语音播放,用户可在应用语音设置中切换。

  2. arXiv · ML25

    VoxSafeBench 提出首个联合评估语音语言模型社会对齐的基准

    VoxSafeBench 发布,联合评估语音语言模型(SLM)在安全、公平和隐私三个维度的社会对齐。 该基准采用两层设计,Tier 1 评估内容中心风险,Tier 2 评估音频条件风险,包含22个双语任务。 研究发现,前沿 SLM 能检测声学线索但常无法据此适当行动,揭示了普遍的语音接地差距,代码和数据已公开。

  3. arXiv · ML20

    语音欺骗检测中说话人身份影响的评估

    SInMT框架通过多任务学习和梯度反转层建模或移除说话人身份,在语音欺骗检测中将平均EER降低17%,针对A11等攻击最高降低48%。 该模型在四个数据集上评估,证明独立于说话人身份的嵌入假设有待验证。 方法验证了说话人信息对欺骗检测系统的影响。

  4. arXiv · AI33

    SGM-Diar 在实时说话人分离中恢复 52% 至 82% 离线误差

    SGM-Diar 在线系统基于 DiariZen 骨干网络,将 Surprise-Gated Memory 机制迁移至实时说话人分离任务。 在 AMI-SDM 数据集上恢复 52%(4.8/9.2)的离线误差差值,VoxConverse 数据集上恢复 82%(1.9/2.3)。 该证明概念系统冻结校准参数实现跨域迁移,记忆机制仅在会议内有效且运行时无梯度更新。

  5. arXiv · ML23

    DEVL框架:无训练流式推理,实现离线ASR模型实时转写且无精度损失

    研究团队提出DEVL框架,这是一种无需训练的流式推理方法,允许离线ASR模型在用户停止说话后快速返回高精度转写。 该方法将部分转写作为草稿,在回合结束时通过单次前向传播验证,确保最终结果在精确算术下与离线贪心输出完全一致。 在包含Qwen3-ASR-1.7B的五模型对比中,95%-100%的最终转写与离线结果字节级相同,WER偏差小于0.13分,且单流最终响应速度提升1.5至7.3倍。

  6. arXiv · ML28

    Facto 提出分解自监督语音分词方法

    研究提出 Facto 自监督语音分词器,通过分解静态与动态信息提升 token 对噪声扰动的鲁棒性。 方法基于线性分解处理未见说话人,理论分析了收敛与扩展特性,并验证了其在 TTS 和语音转换任务中的性能提升。 代码与模型检查点已开源发布。

  7. arXiv · NLP32

    WAXAL:一个覆盖 27 种非洲语言的大规模多语言语音语料库

    研究团队发布 WAXAL,这是一个开放且大规模的多语言语音数据集,覆盖 27 种非洲语言,代表超过 1 亿使用者。该数据集包含逾 14,100 小时的语音数据,其中自动语音识别(ASR)语料库有 2,340 小时带转录文本的图像提示自然语音,跨 19 种语言(另有约 11,760 小时未转录音频);合成语音(TTS)语料库约 247 小时,覆盖 15 种语言配置。

  8. arXiv · NLP23

    听觉反馈驱动 Flow TTS 实现隐式 Lombard 效应适应

    基于预训练 Flow-based TTS 引入 SNR 和 ASR 听觉反馈,使系统无需显式韵律控制即可在噪声环境下自适应提升语音清晰度。 反馈信号注入 Flow-matching 条件用于语料精修和因果块级更新;实验表明听觉反馈在未见过的噪声中具备泛化能力,且单纯增强功率/F0 跟踪不保证语音质量。

  9. arXiv · NLP37

    语音情绪识别评估:临床语音智能体中挫折感检测的效果与局限

    研究显示,在临床语音智能体中仅依赖转录文本无法有效识别患者的挫折感,约59%的轮次仅包含一两个词。 在30个通话样本中,引入音频信息对识别准确率的影响因模型而异,部分Gemini 2.5模型在提示下提升了3.0个百分点,但部分开源模型表现反而下降。 研究结论表明,针对短文本轮次,单纯转录文本不足以排除患者处于挫折状态,音频辅助需结合特定模型与提示策略才能有效。

  10. arXiv · NLP22

    机器口译竞争力:英语到中文同步口译中意义与目标语质量的语域敏感比较

    该研究对比了5个商业机器口译系统与26名人类译员的英语-中文同步口译表现。 在预谋语域中,最强机器系统在意义上极具竞争力,但在即兴语域中无机器系统接近顶级人类译员;机器口译主要存在语义扭曲、话语追踪失败及上下文不敏感解读的弱点。 这些发现为口译实践、教育及机器口译的未来开发提供了语域敏感的参考依据。

  11. arXiv · NLP33

    CosyVoice 2 中基于跨 Token 迁移的非语言文本转语音数据效率研究

    在 CosyVoice 2 框架下,少量笑声数据搭配其他非语言声音(如咳嗽)可显著提升生成效果。仅用 200 条笑声样本加 3,200 条咳嗽样本,笑声端到端 F1 从 0.170 升至 0.529,超过 1,600 条纯笑声样本的 0.495。 该研究发现跨 Token 迁移在低资源非语言声音生成中具有互补价值。 这一结论为缓解非语言数据稀缺问题提供了新的技术路径。