跳到正文
10月28日周三
  1. arXiv · AI24

    首个开源巴斯克语 Speech Language Model 基于 LLaMA-Omni 架构开发

    基于 LLaMA-Omni 架构,研究者构建了首个开源巴斯克语 Speech Language Model。该系统采用 Latxa 模型作为骨干网络,通过微调多个模块将文本能力迁移至语音模态,并基于英语语料翻译生成合成数据以解决数据稀缺问题。评估结果显示,系统的内容质量得分为 3.86/5,语音清晰度 WER 为 9.94%,音质 UTMOS 为 3.07。

  2. arXiv · AI34

    EvoSpeakerMem:面向多用户语音智能体的在线说话人记忆构建框架

    EvoSpeakerMem 提出免训练层实现因果说话人路由与身份分区记忆写入,解决语音智能体身份混淆问题。 引入 LoCoMo-ID 基准测试,在说话人敏感查询任务中,相比固定表征方法提升 3.86 和 11.62 个百分点。 揭示记忆碎片化与跨用户污染之间的权衡关系,单一 QA 指标无法完全捕捉该复杂性。

  3. 智东西62

    科大讯飞发布全国产算力训练的语音基座大模型SparkAudio 1.0

    科大讯飞发布依托全国产算力训练的星火语音基座大模型SparkAudio 1.0。该模型支持文本、语音双模态输入,可完成语音转写、多方言识别及复杂音频问答等任务。基于该基座,讯飞孵化出Spark-ASR-2.0、Spark-LiveTranslation等专用任务大模型,已落地讯飞输入法、AI眼镜等软硬件产品。

10月27日周二
  1. 腾讯混元85

    腾讯混元开源 Hy-SimulMT 同声传译大模型

    腾讯混元发布并开源了低时延、高准确率的 Hy-SimulMT 同声传译大模型,支持中英语音实时互译及音色克隆,实测响应时间约 3 秒。在 RealSI 评测集上,该模型在最低延迟情况下实现了最佳翻译效果,超越了主流开源模型和大部分商用 API。

    推荐理由:开源了低时延语音到语音实时翻译模型,实测效果超过主流商用API且达到人类同传专家水平。

  2. 机器之心67

    讯飞输入法16.0发布:推出意图成稿与个性化AI键盘

    科大讯飞发布讯飞输入法16.0,核心升级“意图成稿”功能,允许用户通过提供相关材料并表达意图,由系统自动生成适合场景的成稿。新版本推出个性化AI键盘,整合了任务级信息卡、长程习惯记忆及30万个用户共创表达技能,并基于Spark-ASR-2.0语音识别模型,将方言识别准确率提升至91%,使语音输入能够处理复杂的跨应用内容组织任务。

    推荐理由:讯飞输入法16.0推出意图成稿功能,通过多模态上下文与AI键盘整合,将语音交互从忠实记录推向内容组织。

  3. Hacker News AI30

    Noor AI 面试官支持英语和阿拉伯语面试

    Noor 是一款 AI 面试官,通过语音或聊天对每位申请人进行 15 分钟结构化面试,支持英语和阿拉伯语。 它根据预设主题评分并保留候选人原话作为证据,招聘团队负责最终筛选决策。 系统设计确保面试官身份透明,且仅依据回答内容而非外貌或语调进行评估。

  4. arXiv · NLP25

    1万通诈骗与垃圾电话揭示的运作机制:一个基于AI语音诱饵的大规模语料库分析

    一项基于10,211通电话(913小时音频)的分析显示,诈骗团伙复用30种开场白脚本,更倾向于索取地址和出生日期而非支付凭证。 研究表明,诈骗者对年龄每大10岁的目标会多进行15%的对话轮次,但索取敏感信息的比例(26.3%)不随年龄变化。仅凭前8句开场白,ROC-AUC达0.87即可预测诈骗升级。

  5. arXiv · NLP40

    全双工语音模型使用窗口似然优化打断与反馈响应

    全双工语音对话模型在全序列 RL 中常因奖励采样导致梯度陷阱与信用泄漏,模型在用户插话时无法正确让位或保持沉默。 研究者提出窗口似然(Window Likelihood),通过闭式积分对停止决策进行建模,替代传统逐样本奖励。 在 HumDial-FDBench 上,该方法在六款开源模型中取得最优 yield/hold F1 分数,且不增加重新抢话频率。

  6. arXiv · NLP38

    当人设与台词冲突:诊断 Chain-of-Thought TTS 中的规划到合成故障

    研究构建了日英双语人设-台词冲突基准,以诊断 Chain-of-Thought TTS 在情感冲突下的规划-合成故障。 QwenEmotion 监督使英文方向准确率升至 84%,日语达 75%;学习式文本-潜空间接口将英文最高提升至 89%,日语唤醒度达 88%。 结果证明,通过学习修复规划到合成接口可恢复与文本情感相悖的语音表现,但该效果在语言与声学维度间存在差异。

  7. arXiv · NLP22

    诊断与缓解全双工语音模型长会话退化:LoRA 微调与双分辨率上下文架构

    研究人员提出 LoRA 微调和双分辨率上下文(TRC)架构,以缓解全双工语音模型在长会话中出现的响应性、内容质量和声音一致性退化。 TRC 架构保留近期交互细节并压缩历史至 KV 表示,实验显示该方法将 KV-cache 增长减少超过 90%,并使稳定性优势延伸至训练时长之外。

  8. arXiv · NLP28

    早期工具调用:口语对话系统中的行动时机研究

    研究构建了包含 26,694 个对话、786 小时音频的口语数据管线,定义了请求最早可行动点。 管线通过受控任务生成与对齐标注支持全模态语言模型训练,实现分块级因果决策。 模型在保留对话和 $\tau^2$-bench 外部基准上分别取得 0.48 和 0.47 的 tool-state macro-F1,正确调用平均领先 1.1-2.0 秒。

  9. IT之家39

    苹果宣布 Siri AI 在 27.2 更新中支持法语、日语等

    苹果于 10 月 27 日发布软件更新 27.2,宣布新版 Siri AI 新增支持法语、日语、韩语、葡萄牙语和西班牙语。 该功能基于 Apple 智能构建,支持跨应用资料查找、系统级操作及屏幕内容感知,繁体中文等语言计划在年底前上线。 部分调用服务器端模型的功能设有每日使用限额,用户需使用兼容设备并支持相应语言。

10月26日周一
  1. IT之家76

    腾讯混元同声传译大模型 Hy-SimulMT 开源,响应时间仅 3 秒超人类译员

    腾讯混元同声传译大模型 Hy-SimulMT 发布并开源,支持中英文语音实时互译,实测响应时间 3 秒左右,优于人类专业译员 4-5 秒的平均水平。该模型具备实时音色克隆功能,支持中英语言间的音频输入与实时译文及语音生成。

    同一新闻,精选展示《腾讯混元开源 Hy-SimulMT 同声传译大模型》

  2. arXiv · NLP25

    CounselPlex: 压力源感知的全双工咨询模型

    CounselPlex 是一种压力源感知的全双工咨询框架,旨在解决模型在咨询中忽视求助者核心问题的“压力源盲点”(Stressor Blindness)。 该模型通过在求助者沉默期间更新简短的压力源状态,并在倾听时将此状态注入对应位置,还引入了 RoPE 位置偏移增强(RPSA)以拓宽训练中的位置覆盖范围。

  3. arXiv · NLP22

    DIAL-S2ST:学习实时语音到语音翻译中的延迟控制

    提出后训练方法 DIAL-S2ST,通过自蒸馏和 LoRA 适配器实现实时语音到语音翻译的推理延迟控制。 该方法利用 Hibiki 模型和法英翻译任务,仅需 10 小时源语言语音即可实现质量-延迟权衡的灵活调整。 为无配对目标数据或奖励计算的场景提供了监督信号,使发射时机更早期且可控。

  4. arXiv · AI20

    Uni-Stream:用于语音合成与识别的统一流式语音语言模型

    研究提出 Uni-Stream,一个基于紧凑预训练语音模型的统一流式语音语言模型,支持语音识别与合成双向交互。 模型通过两阶段训练处理交织的文本与语音流,性能接近专用任务模型。研究者将公开发布生成的转录文本及词级时间戳。 分析发现语音与文本在统一架构中占据不同的潜在特征空间,且模态内表征在深层网络变得更依赖任务。