Google AI 功能或可代你与亲人通话
Google 的新型 AI 功能即将上线,允许用户通过语音通话与 AI 智能体互动。该功能旨在模拟自然对话,帮助处理日常沟通场景。
Google 的新型 AI 功能即将上线,允许用户通过语音通话与 AI 智能体互动。该功能旨在模拟自然对话,帮助处理日常沟通场景。
PetPaw 是一款专为 macOS 14 及以上版本设计的桌面伴侣应用,支持 Apple Silicon 和 Intel 芯片。用户可通过导入 ZIP 文件添加宠物,利用 Vercel AI Gateway key 实现实时语音交互,或通过本地文件体验基础功能。应用支持跨桌面 Spaces 显示,并可通过 Sparkle 自动更新。
研究发现语音语言模型(SLMs)的听觉判断与人类感知对齐较差,且难以捕捉驱动人类直觉的声学线索如频谱倾斜。 开放权重模型无法可靠地将听到的声音与其对应形状建立联系。 实验表明感知对齐依赖于捕捉人类可听线索的语音表征,而非更强的视觉能力。
研究基于流匹配的语音语言模型,构建统一评测套件比较纯语音、纯文本及语音-文本模型在匹配数据分布下的生成表现。实验表明,联合语音-文本建模显著提升了语义连贯性,但在手机 n-gram、说话人相似度及音质指标上改善有限甚至下降,而情感分布指标有所提升。结果显示文本提供了高效的语义训练信号,有助于弥合语音-文本模型在基于转录本的语义连贯性上的规模差距。
针对全双工语音对话模型通常受限于单向测试的短板,该研究提出 DyaFDB 双体评估框架。 框架让两个模型在指定角色下直接互动,涵盖合作与冲突目标,共实例化 4 项任务、140 个场景,记录 7,560 次对话,并覆盖 6 种自我及跨模型配对。 验证了模型行为会持续重塑伙伴表现,因此每个模型必须同时充当考官与被试,发布将包含无预录音频的评估协议。
HINTT 提交系统用于第二届 MLC-SLM 挑战赛,对比级联流水线与统一 Speech LLM 在多语言说话人归属 ASR 中的表现。 最终提交基于级联流水线,包含微调的 DiariZen 说话人分离模型、微调的 Qwen3-ASR 模型及 LLM 生成的错误修正,并在相同官方数据上微调了 VibeVoice-ASR 作为统一模型对照。
研究人员提出一种无需重训练的激活引导机制,利用提示相对引导防止效应累积,动态调整强度以生成更清晰的语音。 该方法基于 Lombard 效应,在可见与不可见说话者及多语言测试中,保持了 89-95% 的说话者相似度,并在 1 dB SNR 下将背景噪声中的 WER 降低了 7-22%。 这一结果表明预训练 TTS 模型可被动态控制以在噪环境中生成更清晰的语音。
研究表明,前沿 LLM 在 576 份医患对话中,35% 的病历包含闲聊,3.7% 错误归因或临床使用这些附带信息。 在 57 次模拟咨询中,-10 dB 背景语音导致 48.2% 转录污染,4 个开源模型的 5.3% 笔记检测到污染。 这些发现支持在临床使用前评估对附带信息的抵抗力。
ARIA 是一个两段式音频驱动框架,用于从带时间戳的粤语音乐录音中生成粤语歌词。 它包含 TRATE 声调估计器(预测 0243 声调序列)和 DRA-TCLG 歌词生成器,并构建了大规模音频-粤拼-0243 对齐数据集。 实验表明 ARIA 在 0243 预测和声调一致的歌词生成上表现强劲,该方法已被 EMNLP 2026 Findings 接收。
EMODE 是一种情绪感知语音语言模型,其核心架构为动态副语义专家(DPSE)。 DPSE 将连续语音特征分解为语义和副语言通路,并动态路由融合。模型采用三阶段课程训练,结合正交专家引导(OEG)等机制。 在 SER 测试和新构建的双语 MEPA 基准上,EMODE 提升了词汇保真度与情感敏感度的平衡。
VoxReason 提供包含 100 个案例的验证基准,通过固定语句并编辑特定来源标签线索,评估引用证据及八个计划字段。 在 24 个源键不相交测试中,来源情绪先验的计划槽位准确率为 0.958,但必需变更准确率仅为 0.000。 基准仅评估派生标签和结构化计划,不处理音频输入、生成语音或听者判断。
研究指出常用语音克隆模型并未忠实克隆声音,而是系统性地将源语音转换为更权威、更亲切且具有客服感的风格。 人类标注者报告对克隆语音的信任度更高,并更愿意向其透露敏感个人信息,表明该技术存在潜在行为影响风险。 研究还发现语音克隆导致口音、语速和音频嵌入空间中的说话人特征方差减小,造成语音同质化。
自监督语音模型(S3M)编码具有音系可解释性,支持音系向量算术。 研究覆盖96种语言,证实模型表示空间存在对应音系特征的线性方向,且向量尺度与声学实现程度连续相关。 该成果已被ACL 2026 Findings接收,代码和交互式演示已公开。
对RAVE和EnCodec解码器的系统性分析表明,合成刺激在音高(|ρ|=0.45)和BPM(|ρ|=0.76)编码上表现优于自然音频。 解码器中间层联合编码能力增强,非线性探针使自然音频的跨特征平均R²达0.56,较线性探针提升0.152。 最佳跨层聚类改善了BPM编码强度(r=0.65)与普及度(r=0.75),推进了神经音频模型的可解释性与控制策略。
summary_zh: AccentCL 是一种基于类增量学习的英语口音分类框架,能应对类别不平衡及跨语料库领域偏移。该模型使用冻结的 Whisper-Large-v3 编码器提取多层表示,并结合不平衡感知损失与领域均值对齐损失进行优化。
LanguageLine 部署以色列美国公司开发的 NiCE AI 劳动力管理软件后,口译员的工作节奏加剧,最低通话间隔压缩至 15 秒。 此前口译员拥有数分钟间隔,现在休息时间随机变动且班次被删减,导致高倦怠率和颈部疼痛。 公司称运营已恢复正常,但调查指出 AI 正在侵蚀口译员的工作质量而非直接取代岗位。
Notside, LLC 推出 Prevo 语音练习应用,支持 US 签证、公民身份、融资路演及求职四类场景。 提供 7 种语言支持,无限免费 Quiz Mode 语音练习采用一次性买断模式,含 2 至 40 节套餐。 明确声明非法律或政府服务,仅通过模拟提供清晰度与信心反馈,不承诺结果。
基于 Amazon Bedrock AgentCore 构建实时语音旅行管家,集成 Nova 2.5 Sonic 实现语音交互,通过托管知识库回答政策问题。 使用 Strands Agents 框架构建智能体,经 MCP 协议连接 AgentCore Gateway 调用后端服务,支持坐席变更与实时转接人工。
Simon Willison 测试 Claude Opus 5.5 生成《猴岛小秘》风格电脑游戏音乐,结果令人惊喜。 模型设计了文本音乐格式并构建播放 artifact,包含示例音轨。作者推测作曲或像 3D 图形一样,是近期大模型新涌现的能力,需更多实验验证。
该研究提出针对越南语ASR的结构化音位方法,将输出从表面音素转为抽象音位三元组(声母、韵母、声调),以实现文本确定性重建。 在LSVSC和UIT-ViMD基准上,最佳模型WER分别为5.83%和12.58%,优于正字法及既有音素方法。 结果显示该方法提升了词汇覆盖率并降低了对词频模式的依赖,在各方言中表现一致。
原因如下: 1. **标题自洽规则第1条**:标题必须点出核心主体(模型名/产品名/公司名/项目名)。 2. **标题自洽规则第4条**:补主体只能使用正文或来源中真实出现的名字,**绝不能凭行业常识编造具体型号**。
该研究提出免训练的对比激活添加(CAA)协议,通过少量标注语音生成引导向量,在推理时优化语音语言模型(SpeechLLMs)在转录等任务上的表现。 与仅使用提示词相比,添加引导向量在自动语音识别和情绪识别等任务中带来一致提升,并具备跨域迁移能力。 证明了脚本归一化方向可有效强制特定语言的目标书写系统。
Wattle AI 是一款面向小企业的 AI 前台服务,能自动接听电话并预约日历。 它支持 Google Calendar、Xero 等工具集成,并将电话、短信和聊天统一至一个收件箱。 套餐起步价为 A$99/月(不含 GST)。
UniAE-MoE 是一个基于混合专家(MoE)架构的统一音频编码器,在 XARES-LLM 基准上取得 0.802 分,达到 SOTA 水平。 该模型融合了 Qwen2-Audio 与 Audio-Flamingo 3 的编码器,采用带共享专家的 SwiGLU 解耦网络,并引入两阶段指令微调与任务特定数据扩展(TSDS)技术。
研究者提出 HIR-SDD 语音深度伪造检测框架,将大型音频语言模型(LALMs)与基于新构建人工标注数据集的思维链推理相结合,实验验证了方法的有效性及其为预测提供合理解释的能力。 现有 SDD 方法普遍缺乏对新音频域和生成器的泛化能力,且缺少可解释性,难以给出人类可感知的伪造线索。 该框架旨在同时提升检测鲁棒性与预测的可解释性。
研究提出 CavaBench——首个内部采集的口语金融查询基准,用于评测 ASR 模型及端到端 ASR-LLM 流水线在自报英国口音下的表现。 WER 与下游工具调用准确率强相关(r = -0.93),但未必反映任务级表现;苏格兰、爱尔兰、威尔士口音引发的错误会传至 LLM 阶段,破坏工具调用参数,而部署还需满足延迟与内存预算。 相关发现可指导设计更包容、可靠的语音金融助手。
研究对 Chatterbox、CosyVoice、OmniVoice 和 VoxCPM2 四款现代 TTS 系统在土耳其语上进行系统基准测试,覆盖微调与零样本配置,并以 VITS 为基线、自然语音为参照。
UltraDub 将视觉用作连续运动与结构节奏,提出统一视觉引导流学习与轨迹指导的配音框架,在四个数据集上取得 SOTA 性能。 其 MDR 模块通过共享唇动查询残差校准语言与说话人风格检索,RTG 免训练,在纯视觉预测中点评估分层多模态校正以保持时序对齐,并构建 DiverseDub 多场景基准。
SEA-LM 模型通过 FOACODER 编码器理解 First Order Ambisonics 空间音频,在 1,211 种 4 至 9 麦克风智能眼镜阵列配置中,均实现比基线更低的方位角与仰角 MAE 及多数转录任务的 WER。 该模型经两阶段课程训练,涵盖 6 项任务,采用时空加权交叉熵损失平衡转录与方向预测目标。
一项研究用无监督声学聚类检验"文本足以选择韵律风格"这一假设,在 1,200 小时对话语料库的六位说话人上,文本嵌入对聚类 top-3 准确率仅比多数类基线高 +0.111。 词袋基线即达到该增益的四分之三,句嵌入仅额外贡献 +0.026,且在 360 种配置中声学聚类在文本嵌入空间均不紧凑。 研究认为文本主要通过词汇选择而非语义来提示韵律风格,无参考的风格选择不能假设更多。
针对现有自监督学习检测器参数超300M导致无法部署于受限设备的问题,研究团队提出一种结合跨域知识蒸馏与运动引导结构化剪枝的任务感知联合框架。 该框架将模型压缩至31.9M参数并实现6.3倍FLOPs降低,在多个数据集上的平均性能下降仅1.30%,显著优于直接适配现有压缩方法的效果。 这一成果展示了该模型在资源受限设备上进行音频深度伪造检测部署的强大学潜力。
研究者提出 Empirical Variational Autoencoder(EVA),一个面向连续值(非向量量化)序列的通用生成框架,仅需在 VAE 之上增加一个线性层即可实现。
完全由 AI 智能体自主运营的 Slow English FM 上线,提供 24/7 清晰英语新闻广播,服务于英语学习者。 该系统自动筛选可靠新闻源,改写文本、生成音频并排播,支持网站、YouTube、Twitch 收听。 项目目前处于早期阶段,编排系统仍在调优,欢迎用户就语速、语音及节目形式提供反馈。
ParaGeo 提出一种在冻结语音语言模型中分解副语言变异的方法,利用 GLM-4-Voice 探针生成 80 个控制条件。在内容留出的情况下,其质心准确率相比置换基线从 1.25% 提升至 9.49%,同标签跨内容余弦相似度达到 0.285。该研究为副语言结构测量提供了共享坐标表示,并发布了相关代码。
FastDiar将SOTA说话人识别架构转化为因果帧级编码器,每80ms基于2秒音频窗口输出嵌入向量,并配合在线聚类实现流式分离。该系统通过蒸馏训练,在低重叠基准测试中精度最高,单CPU线程推理速度达实时的5倍,延迟低于1秒。
针对语言学习和配音场景对口音强度调节的需求,研究者提出基于掩码离散扩散的可控口音归一化系统 DLM-AN。该系统通过通用词预测器选择性复用源语音 token 来控制口音保留度,并引入流匹配时长比例预测器自动调整发音节奏。在多口音英语数据实验显示,DLM-AN 实现了最低的词错误率,同时保持了具有竞争力的口音抑制效果和可解释的口音强度控制。
研究训练了 15 个 19-133M 参数的 Masked-Diffusion codec TTS 模型,发现测试时计算步数对 intelligibility 与 identity 的提升存在 1.86 倍不对称性,refinement steps 可关闭 86.2% 的 intelligibility gap,但仅 46.4% 的 identity gap。
DuplexJev 将 ASR 编码器隐藏状态通过连接器传入冻结 LLM,将语音问题转化为单 token 分布进行批量决策,8 张 GPU 约 0.1 秒可处理 80 个决策。该模型配合交叉注意力连接器时,说话人性别与情绪识别准确率均达 90%,语音问答准确率保持在 82%。
研究提出利用自身完整与部分波形翻译进行前缀监督,适配全语句语音语言模型。 方法无需转录或人工翻译,对比单轮强制前缀与多轮追加解码策略。 多轮解码在低延迟下表现更强,校准错误整体降低 63-68%,早期前缀降低 68-80%。
AI 音乐制作平台 Suno 宣布推出 Speech 语音功能,宣称这是业界首个能够将语音与音乐作为单一连贯音轨共同生成的音频模型。该功能通过端到端一体化生成,可以单次生成完整融合语音朗读与原创 BGM 的音轨。目前 Speech 功能已正式面向所有人开放公测。