跳到正文
11月12日周四
  1. AWS Machine Learning Blog76

    AWS 发布 Amazon Bedrock 和 AgentCore 多项更新

    AWS 发布 Amazon Bedrock 和 AgentCore 多项更新,包括 Claude Haiku 5.5 在 Amazon Bedrock 支持 subagent 场景,OpenAI GPT-6.1 Terra 在 Amazon Bedrock 上 GA,并带来 100 万输入 token 和更低价格。

    推荐理由:原文汇总了模型可用性变化与 AgentCore 新增能力,读者可以据此判断现有 AI 工作流需要调整哪些部分。

11月11日周三
  1. arXiv · NLP42

    Walrus 8B 统一语音与音频基础模型技术报告

    Walrus 是一个基于 Gemma 4 初始化的 8B 统一语音与音频基础模型,支持 ASR、翻译、TTS 等 20 多项任务及 100 种语言。 该模型采用数据为中心的训练策略,通过三阶段课程学习平衡不同任务,预测低比特率离散语音 token 并由轻量解码器转波形。 在多数多语言、多说话人基准上领先同级开源模型及专用模型,性能匹配或超越 4 倍大小的 Qwen3-Omni。

  2. arXiv · NLP21

    语音编码信息率研究:词元比音素和音节更优

    一项基于 960 小时英语有声书语料的研究表明,在有限建模预算下,词是最优的语音编码单位。 该研究对比了音素、音节及多词组合的信息率,发现使用 n-gram 或 Transformer 模型时,词的信息率最低。 结果指出,大于音节但小于长词组的中间单元在有限算力下提供了最高效的信息表示。

  3. arXiv · NLP32

    AVCC:用于结合人类基准测试的视觉语音对话语料库

    AVCC是一个31小时的单摄像头单麦克风视觉语音对话语料库,用于多方下一位说话人预测(NSP)公开基准。 该语料库包含双人和三人在线对话,带有词级强制对齐转录文本,并新增了一个说话人不相交的七段视频测试划分,包含865个保持静默和865个切换静默事件,以及在相同事件上收集的人类参考基准。

  4. arXiv · AI28

    基于内容嵌入匹配的语音匿名化模型

    该模型利用冻结的 wav2vec2 提取内容嵌入,结合向量量化与 HiFi-GAN 生成匿名语音,未使用波形重建损失。 在 VPC 评测中,模型 WER 低至 2.53,EER 为 13.39,且无需辅助目标即可部分保留情感特征(UAR 43.91)。 该方法证明了仅依赖嵌入匹配即可实现低失真匿名化,适用于对隐私有要求但不需高保真的场景。

  5. arXiv · AI23

    利用生成网络进行数据增强以识别痴呆症

    针对医疗数据稀缺问题,本研究利用生成网络对语音特征进行数据增强,提升了痴呆症分类器性能。 变分自编码器将区分记忆诊所典型患者组的四分类器 F-score 从 58% 提升至 74%,提高了 16%。 该方法证实生成模型在稀疏数据域中训练鲁棒分类器的有效性。

11月10日周二
  1. arXiv · ML28

    BARS:基于 Flow Matching 的节拍自适应说唱语音生成模型

    BARS 是发布在 ISMIR 2026 的非自回归说唱语音生成模型,它基于 Flow Matching 并获得了最佳论文奖提名。 模型通过 ByT5 编码器处理歌词,并提出非对称缩放 RoPE 以解决强节拍条件下的对齐不稳定问题。 该模型支持零样本音色控制,并可通过 Span Masking 实现词级编辑,实现灵活且节奏连贯的生成效果。

  2. arXiv · ML42

    MUTE:通过多层级对齐解耦保护语音免受数字人深伪滥用

    MUTE 是一个语音保护框架,通过干扰跨模态注意力与音频嵌入,解耦数字人模型中的音视频对齐。 扰动限制在短时傅里叶变换高能区域以抗后处理攻击,并可选加入说话人级目标防止 TTS 重合成绕过。 实验表明该方法能在保持感知音质的同时,持续降低白盒与黑盒模型的唇音同步精度。

  3. arXiv · AI24

    Joi-Bench-Task: 通过交互式模拟评测全双工语音智能体的任务协调能力

    Joi-Bench-Task 是一个评估全双工语音智能体任务协调能力的基准,重点考察执行、完成、沟通及剩余汇报的跟踪。 该基准采用交互式用户模拟器,在工具执行和结果播报时引入可配置干预。 评测显示5家商业语音智能体在需求变更下最高完成率仅55%,中断后4家信息遗漏率至少23%。

  4. arXiv · NLP47

    CASA实现临床语音数据的任务自适应匿名化

    CASA是一种临床自适应语音匿名化智能体,将匿名化处理转变为任务引导的优化过程,以平衡隐私保护与临床效用。 CASA在涵盖5种语言、心理健康等领域的14项临床任务中,维持了疾病分类性能且满足说话人匿名化要求,而最强固定方法仅在14项中的8项达标。

  5. arXiv · NLP42

    Pandemonium: 基于说话人交互的长文本目标说话人语音识别

    针对 DiCoW 孤立解码及短窗口限制,研究提出 DiCoP 与 Pandemonium,引入跨说话人注意力机制解决长文本转写难题。 DiCoP 整合了 DiCoW 条件化与长文本 Parakeet 骨干网络,新增 STNO 掩码优化器以重新估算声纹信息。 团队从 YODAS2 挖掘 5.4 千小时野外多说话人数据构建伪标签,在会议评测基准取得 SOTA 效果并开源模型。

  6. arXiv · NLP22

    KR A1:集成个性化语音合成与情绪感知响应的人形机器人交互原型设计

    论文提出人形机器人交互原型 KR A1,整合 Qwen2.5-3B-Instruct、OpenVoice v2 及双层情绪处理管道,面向心理健康护理场景。 采用 InsightFace 人脸识别与 FAISS 向量检索实现用户个性化交互;当前评估仅涉及语音克隆的八项声学相似度指标,未进行临床部署。 情绪识别准确率、系统延迟及临床效果尚未评估,相关测试均为开发团队非正式自测,未涉及外部参与者。

  7. arXiv · NLP21

    IRIS-Embed 改进指令感知语音检索的 LALM 嵌入基线

    IRIS-Embed 通过对比训练和指令感知的音频层加权,将大型音频语言模型(LALMs)适配为嵌入模型,在 INSPIRE 基准测试中显著超越基线。 最佳模型取得 62.92% 的宏平均 Recall@50,优于最强基线的 45.15%。该模型使用约 900K 真实与合成数据样本构建训练集,在 MAEB 基准上获得 9.4-19.8 点的宏平均提升,证明其在语音检索之外的泛化能力。

  8. arXiv · NLP21

    长文本实时语音翻译中,文本分组方式如何改变完成时间比较

    文本更新分组会显著改变两种翻译器在实时语音合成中的完成时间比较结果。 4 秒分组使 StreamAtt 在 XTTS-v2 上的平均完成领先时间从 106.6 秒增至 229.1 秒,但在 Piper 上反而从 169.5 秒降至 146.5 秒。 这表明比较语音时序时必须明确说明文本进入合成的分组方式,仅说明使用哪种合成器是不够的。

  9. arXiv · NLP23

    自监督语音模型中音素与韵律线索的层级与时间解析机制

    研究通过冻结编码器探针在 HuBERT 和 wav2vec 2.0 的预训练检查点上测试五个任务,发现声学韵律线索和音素边界在最早期检查点即可解码。 音素识别在预训练过程中构建,在 HuBERT 第二阶段目标下重新定位到上层中间层,且获取顺序跟踪抽象程度而非音段/超音段区别。 该发现扩展了关于语音、词汇和句法结构的解释,揭示了自监督学习层级结构的时间演变。

11月9日周一
  1. arXiv · AI24

    AUTEUR:用于文本到音频模型红队测试的声学计划学习

    提出AUTEUR框架,通过声学计划学习生成测试提示以执行文本到音频模型的红队测试。 该框架结合监督微调与音频反馈强化学习训练计划生成器,在保持目标音频模型固定的情况下进行推理。 实验显示攻击成功率在TangoFlux上为79.4%,在Kling上为95.6%,测试提示具有跨模型迁移性。

  2. arXiv · NLP20

    APEX:基于查询自适应意图检测的有效口语理解方法

    论文提出 APEX 框架,通过两阶段检索实现无需微调的口语理解(SLU)。该框架先利用意图原型筛选候选意图,再在选定意图空间内检索上下文示例。 在 SLURP 数据集上,APEX 使 Qwen3 4B 和 Gemma-3-4B 的 EMA 分别提升 4.34 和 3.97 个百分点;高困惑度输入下 EMA 增益为 7.66 和 2.13 个百分点。

11月6日周五
  1. arXiv · ML24

    FastWave: 针对音频超分辨率优化的扩散模型

    论文提出了名为 FastWave 的扩散模型,用于将音频信号超分辨率至 48 kHz 采样率。 该模型具有约 50 GFLOPs 的计算复杂度和 1.3M 参数,训练和推理速度显著快于现有的高参数扩散及流模型,且性能优于 NU-Wave 2。 代码已公开,该模型能以更少的资源进行训练,为音频超分辨率提供了高效的解决方案。

11月5日周四
  1. 阿里语音AI60

    音频解码器技术与演进:从重构到生成

    音频解码器通过重构训练建立波形重建能力,生成模型可复用其预测表征完成音频合成。文中介绍了声码器、离散神经音频编解码器和连续音频自编码器的典型结构,并展示了基于 DiT 的级联声学生成、流式解码及针对预测表征的解码器微调方法,说明了如何在时延约束下实现高质量实时交互。

    推荐理由:原文梳理了音频解码器从重构训练到生成复用的完整技术链路,并给出了流式解码与微调适配的具体设计思路。

  2. Hugging Face Blog69

    Gradium 端侧语音模型 Phonon 开源,性能与速度领跑 Hugging Face Open TTS Leaderboard

    Gradium 于两周前推出并开源了小型端侧文本转语音模型 Phonon,该模型无需服务器与网络即可运行。目前 Phonon 提供约 65 MB 和 75 MB 两种尺寸,支持英、法、德、西、葡五种语言,并内置 100 多种预设音色。

    推荐理由:展示了高性能TTS模型在端侧落地时的架构平衡策略,以及通过多语言支持与流式响应技术实现的质量跃升。

  3. arXiv · AI29

    VIPBench:面向语音克隆时代语音身份感知的人机对齐基准

    研究者提出VIPBench基准,包含来自1,290名听众对9,800个录音对的124,876个判断。 该基准评估说话人表示模型与人类身份感知的对齐度,发现最佳模型仅解释61%的可解释方差,且听众在41%的情况下将语音克隆误判为不同人。 这些结果支持基于听众判断直接训练说话人模型,以提升现实场景中的身份感知准确性。