跳到正文
10月14日周三
  1. Wired40

    Friend 2 评测:Avi Schiffmann 的 AI 吊坠智能体缺乏个性且受限

    Friend 2 是 Avi Schiffmann 推出的第二代 AI 吊坠,售价 $249,基于 OpenAI 模型,但被评价为缺乏个性且功能受限。 设备提供固定角色和名称,但用户可创建多个 persona;AI 仅能进行闲聊,无法像其他 agent 那样浏览网页,内容受限于隐私政策。 Schiffmann 计划更新使其成为共享上下文的单一实体,但当前体验仍显单调。

  2. Qoder69

    Qoder 集成千问AI耳夹式耳机,支持语音控制与 Computer Use

    Qoder 已集成到千问AI耳夹式耳机中。用户通过耳机唤醒 Qoder 后,可语音指令继续推进电脑上的未完成任务,或通过 Computer Use 功能让 Agent 像人一样操作屏幕、点击鼠标和敲键盘来完成具体事务。耳机支持全双工语音交互,允许用户在 Qoder 说话时随时插话修正指令。

    推荐理由:耳机与Agent结合,允许用户通过语音指令继续电脑上的任务,并直接操作电脑完成具体事务。

  3. arXiv · AI41

    Auto-AEG:面向开放词汇音频事件定位的可扩展数据构建方法

    该研究提出 Auto-AEG 管道,通过自动数据构建与模型微调解决开放词汇音频事件定位中的数据稀缺瓶颈。 利用程序合成片段提供冷启动监督,并结合真实音频的多模型伪标签强化学习,显著提升大音频语言模型的时间定位能力。 该方法在 AEGBench 等基准测试中展现出显著的时间定位增益,并泛化至多种留出声源检测任务。

  4. arXiv · ML27

    NAVIR:面向边缘硬件的类脑视听语音识别系统

    论文提出 NAVIR 系统,在 BrainChip Akida 上实现端到端视听语音识别,这是该类神经形态硬件上首个完整的多模态 AVSR 流水线。 系统在 GRID 基准下噪声环境词错率达 14.0%,较纯音频基线提升显著;能耗比树莓派低 5 倍,比笔记本 GPU 低 100 倍以上,维持 14.5 次/秒推理。 显著降低边缘设备能耗,提升工业环境人机交互鲁棒性。

  5. arXiv · AI20

    CodecFlow:基于条件流匹配的神经编解码潜空间带宽扩展框架

    CodecFlow 提出了一种基于神经音频编解码的带宽扩展(BWE)框架,通过条件流匹配在紧凑潜空间实现高效语音重建。 该框架采用感知音高(voicing-aware)条件流转换器和结构约束残差向量量化器(RVQ)以改善潜空间对齐稳定性。在 8 kHz 至 16 kHz 及 44.1 kHz 的语音 BWE 任务中,CodecFlow 展现了高保真频谱质量和增强的感知质量。

  6. arXiv · NLP42

    DELTA-TTS:将自回归 TTS 模型适配为离散扩散语言模型

    DELTA-TTS 将预训练自回归 TTS 模型转化为离散扩散语言模型,在 Seed-TTS test-en 上实现 1.75% WER,生成速度提升 3.3 倍。 框架基于轻量 LoRA 适配,引入卷积模块、1/t 加权训练目标与时间偏移推理调度,仅使用 585 小时 LibriTTS 数据训练。 该方法缓解自回归生成的幻觉问题,提升文本-语音对齐与解码置信度,音频样本、代码及权重已开源。

  7. arXiv · ML28

    边缘部署音频LLM智能体安全风险分析综述:从声学感知到物理动作

    该综述针对边缘部署的音频大语言模型智能体,提出了声学感知到动作(S2A)系统模型,以追踪安全影响路径。模型综合了现有声学、智能体及边缘系统文献,分析跨组件及阶段转换中的安全缺口。该发现要求跨持久状态、系统边界和部署条件,对声学影响进行从感知到动作的端到端安全评估。

  8. arXiv · ML23

    LiveAnon 如何利用编码语言模型改善流式说话人匿名化的隐私与效用

    LiveAnon 提出一种基于语音转换的流式说话人匿名化系统,通过直接条件化自回归编码语言模型于预训练流式 ASR 编码器的隐藏特征,在无需情绪特定监督的情况下保留情绪。 该系统引入有界 RVQ 解码以降低延迟,在 VPC24 基准中比固定目标 Stream-Voice-Anon 具有更高的可懂度和情绪保留,并实现流式系统中最强的半知情隐私;在 VPC26 中各项指标排名第二。

  9. arXiv · AI25

    构建印地语等十种语言跨语言 TTS 基准及推理时时长估计策略

    针对无对齐 TTS 模型在跨语言场景下的时长失配问题,研究构建了覆盖英语及 9 种印度语言的跨语言评估基准。 提出语言感知的推理时时长估计策略,通过引入特定语言的每字符时长统计来优化 A-DMA 模型。 该策略无需重新训练或修改架构,即显著提升了语音的自然度、可懂度及说话人相似度,相关资源已公开。

  10. arXiv · AI23

    AlignAudio:噪声鲁棒语音条件生成的双对齐框架

    AlignAudio 提出双对齐噪声鲁棒生成框架,在语音转音频(STA)和语音转换(VC)任务中,于多种噪声条件下显著优于基线模型。 框架包含语义保持对齐与流匹配生成一致性约束,支持单流与多流语音条件,可集成至不同 flow matching 生成架构及后训练设置。

  11. arXiv · NLP35

    JAL-Turn: 全双工语音对话系统中基于联合声学-语言建模的实时轮次切换检测

    JAL-Turn 是一种轻量级语音轮次切换检测框架,通过跨注意力模块自适应融合预训练的声学与语言表征,实现低延迟的保持或切换预测。 该框架共享冻结的 ASR 编码器,使轮次切换预测与语音识别完全并行,几乎不增加端到端延迟;实验表明其在 Easy-Turn、Smart-Turn 基准及日本客服数据集上检测精度具有竞争力,且实时性能更优。

  12. arXiv · NLP75

    Fish Audio Drama 3 技术报告发布

    Fish Audio 开源了基于 35B 参数 MoE 架构的语音生成模型 Fish Audio Drama 3。该模型能根据自然语言指令生成多角色长对话,支持多轮修改、语音编辑及流式输入,其专属音频解码器可将推理速度提升至 271 帧/秒,已发布至 GitHub 和 Hugging Face 并支持 SGLang-Omni 部署。

    推荐理由:报告详细解析了单模型实现多轮剧本修改、声线克隆及SGLang-Omni流式推理的架构设计与完整技术路线。

  13. arXiv · NLP21

    词对齐韵律反映说话者差异多于抑郁症或PTSD严重度

    研究在四个语料库中发现,尽管平均后的说话者韵律分数高度一致(如ESD达0.997),但其与抑郁症或PTSD严重度的关联未超过0.15。 词级韵律在不同语境下的复现性很低(0.01-0.16),且等效性测试排除了0.30及以上效应。代码已公开,证实聚合韵律无法检测相关疾病严重度。

  14. arXiv · NLP21

    语音基础模型中利用语言选择性维度检测语码转换

    提出一种基于预训练语音编码器检测语码转换的轻量方法。 该方法通过识别单语录音中的语言选择性隐藏状态维度,结合帧级激活预测语码转换,Whisper-small 编码器在 CS-FLEURS 的 14 个语言对平均 F1 达 0.798。 此方法无需依赖多语转录,有助于构建更具代表性的多语训练语料库。

  15. arXiv · AI30

    理解 Whisper ASR 中的个性化增益

    研究发现 Whisper 大语言模型的 LoRA 微调增益并非均匀分布,且池化 LoRA 常能匹配甚至优于组特定 LoRA。 研究覆盖 Common Voice、LibriSpeech 和 VoxPopuli 数据集,发现增益集中于 Common Voice 困难组,在低误差的 LibriSpeech 上几乎消失。 结论指出,在解释个性化证据前,应将零样本增益与匹配的池化适应进行对比。

  16. arXiv · NLP38

    已知声音克隆与虚拟角色设计中的个性迁移局限

    两项研究表明,克隆熟悉人的声音用于虚拟角色时,个性印象的迁移是有限的,并未系统性地让受众将虚拟角色视为有能力的社会行为者。 研究发现效果具有选择性且无法在不同特质或研究情境间泛化;在线研究中,可识别的声音线索仅激活了说话者预期,未重构完整的个人印象,且判断常受感知人工性及声貌匹配度影响。

  17. arXiv · NLP28

    PACT 框架:面向表情达意与声音保持的语用提示

    PACT 提出目标语语用提示框架,解决现有语音翻译系统在情感、语调及节奏表达上的不足。 该框架提取源语语用线索并投影至目标语空间,转换为连续提示词驱动冻结语音生成器。 在西班牙-英语双向 TOPI 评估中,PACT 在内容保真、声音及表情保持指标上综合表现最佳。

  18. arXiv · AI37

    ScreenASR-Bench:视觉语境下语音识别的分层基准

    ScreenASR-Bench 是一个含三层递进难度的视觉语境 ASR 基准,涵盖直接屏幕文字(ETE)、视觉内容(EVE)及场景级语义推理(ISE)。 实验表明,引入视觉语境可显著提升 ASR 模型、大型音频语言模型(LALM)及 Omni 模型的召回率;其中 ETE 层级提升最大,ISE 层级提升最小。 研究团队已公开发布该基准,以推动基于视觉锚定的语音识别研究。

  19. arXiv · NLP23

    基于 Whisper 微调的语音强制对齐器在电话语音单词边界检测上超越 MFA

    研究者微调 Whisper 预测单词起止时间戳,构建的强制对齐器在电话语音上的单词边界误差为 16.0 ms,优于 MFA 的 36.5 ms。 模型仅使用 47 小时人工标注边界数据训练,采用 LoRA 微调并优化了时间戳槽位布局,对转录错误具有极强鲁棒性。 该结果在 FA-Bench 基准上达到 11.6 ms 误差,优于最佳已发表系统的 18.2 ms,并发布了相关模型。

  20. arXiv · NLP50

    Diffuplex:基于离散扩散的全双工口语语言模型

    Diffuplex 引入基于离散扩散的全双工口语模型,在思维模式下达到每秒 1872 个 token 的生成速度。 该模型通过分离训练层面的“何时说”与“说什么”,实现智能性与响应效率的平衡。 Diffuplex 语义计算不再受感知音频帧率限制,为实时对话智能体确立了新范式。

  21. arXiv · NLP38

    连接点:标准与少数派英语变体间 ASR 系统持久存在的性能差距

    研究通过纵向评估 2021-2025 年发布的 16 个主流 ASR 系统,揭示标准与少数派英语变体间的性能差距并非随时间可靠缩小,反而存在风险。 在 8 个涵盖多样化英语口音的数据集测试中,少数派口音表现不稳定,不同代际系统间 Word Error Rate 有时恶化高达 65%。 研究表明标准 ASR 基准隐含了优待主流美式英语的语言政策,反映了技术基础设施的体系性缺陷。