首个开源巴斯克语 Speech Language Model 基于 LLaMA-Omni 架构开发
基于 LLaMA-Omni 架构,研究者构建了首个开源巴斯克语 Speech Language Model。该系统采用 Latxa 模型作为骨干网络,通过微调多个模块将文本能力迁移至语音模态,并基于英语语料翻译生成合成数据以解决数据稀缺问题。评估结果显示,系统的内容质量得分为 3.86/5,语音清晰度 WER 为 9.94%,音质 UTMOS 为 3.07。
基于 LLaMA-Omni 架构,研究者构建了首个开源巴斯克语 Speech Language Model。该系统采用 Latxa 模型作为骨干网络,通过微调多个模块将文本能力迁移至语音模态,并基于英语语料翻译生成合成数据以解决数据稀缺问题。评估结果显示,系统的内容质量得分为 3.86/5,语音清晰度 WER 为 9.94%,音质 UTMOS 为 3.07。
EvoSpeakerMem 提出免训练层实现因果说话人路由与身份分区记忆写入,解决语音智能体身份混淆问题。 引入 LoCoMo-ID 基准测试,在说话人敏感查询任务中,相比固定表征方法提升 3.86 和 11.62 个百分点。 揭示记忆碎片化与跨用户污染之间的权衡关系,单一 QA 指标无法完全捕捉该复杂性。
Tap2Listen提出了一种流式视听目标说话人提取模型,支持即时切换目标说话人。 该模型将计算按模态分离,音频编码器处理混合信号,视觉线索仅作为解码器条件,切换仅需0.12ms重新投影。 在LRS3-2mix测试集上,SI-SNRi从8.85 dB提升至9.68 dB,且可在单CPU核心上实时运行。
AudioFM 提出一种结合录音级对比学习与掩码潜在区分的自监督框架,在多种音频领域的线性探针、微调及零样本迁移任务中均达到 state-of-the-art 性能。
EmoNet 提出了一种用于7类语音情感分类的轻量级深度学习框架,在TESS、RAVDESS和SAVEE结合数据集上达到了96.75%的测试准确率。 该模型由四块深度可分离CNN编码器、双向LSTM和多头注意力池化机制组成,仅包含411万参数,性能优于基线模型。
ai-readers.com 通过调用 ChatGPT、Claude、Gemini 等主流 AI 平台的“读 aloud”功能,将其转化为免费的文本转语音(text-to-speech)工具。 用户输入文本后,AI 会朗读该文本而非生成回答,声音效果良好且完全免费。该工具及扩展插件可通过访问 ai-readers.com 获取。
运行在 Apple Silicon macOS 上的 AI Phone 代理现已开源(AGPL-3.0),支持本地语音处理,仅支持英语和单通话。 默认使用 4B 本地模型,需 16GB 内存;可选 Claude、Codex 或 OpenAI 兼容端点作为语言模型,测试首响中位数为 1.50 秒。
包含 50k 条 AI 生成播客的数据集已发布。
Crulon 推出 AI 代理,可自动接听商务电话、处理工具工作并向团队提供摘要。 支持实时监听、人工接管及一键生成记录。 该方案能降低话务量并减少季节性用工需求。
科大讯飞发布依托全国产算力训练的星火语音基座大模型SparkAudio 1.0。该模型支持文本、语音双模态输入,可完成语音转写、多方言识别及复杂音频问答等任务。基于该基座,讯飞孵化出Spark-ASR-2.0、Spark-LiveTranslation等专用任务大模型,已落地讯飞输入法、AI眼镜等软硬件产品。
腾讯混元发布并开源了低时延、高准确率的 Hy-SimulMT 同声传译大模型,支持中英语音实时互译及音色克隆,实测响应时间约 3 秒。在 RealSI 评测集上,该模型在最低延迟情况下实现了最佳翻译效果,超越了主流开源模型和大部分商用 API。
推荐理由:开源了低时延语音到语音实时翻译模型,实测效果超过主流商用API且达到人类同传专家水平。
科大讯飞发布讯飞输入法16.0,核心升级“意图成稿”功能,允许用户通过提供相关材料并表达意图,由系统自动生成适合场景的成稿。新版本推出个性化AI键盘,整合了任务级信息卡、长程习惯记忆及30万个用户共创表达技能,并基于Spark-ASR-2.0语音识别模型,将方言识别准确率提升至91%,使语音输入能够处理复杂的跨应用内容组织任务。
推荐理由:讯飞输入法16.0推出意图成稿功能,通过多模态上下文与AI键盘整合,将语音交互从忠实记录推向内容组织。
Ollama 桌面应用宣布支持本地文本转语音(Text-to-Speech)生成,Windows 和 Linux 版本的支持也在近期推出。在 macOS 上,Ollama 首次支持由 Gradium 开发的 Phonon 语音模型,可实现实时语音生成,用户无需等待响应完成即可收听。
微信输入法更新 4.0.0 版本,新增 AI 录音笔功能,可将说话内容转写为网页并生成图表。 手机可通过键盘工具栏或 App 打开,电脑端支持快捷键 V 唤起面板,还能自动提炼重点并删除冗余表达。
Noor 是一款 AI 面试官,通过语音或聊天对每位申请人进行 15 分钟结构化面试,支持英语和阿拉伯语。 它根据预设主题评分并保留候选人原话作为证据,招聘团队负责最终筛选决策。 系统设计确保面试官身份透明,且仅依据回答内容而非外貌或语调进行评估。
研究团队构建主动语音智能体蜜罐,在53天内捕获10,015通真实诈骗及垃圾电话。 系统记录895小时音频、328,869轮转录数据及5,665个来源号码,75%标签经人工复核。 约949通确认为直接诈骗,其余多为合法获客;检测器在真实流量上精度下降。
一项基于10,211通电话(913小时音频)的分析显示,诈骗团伙复用30种开场白脚本,更倾向于索取地址和出生日期而非支付凭证。 研究表明,诈骗者对年龄每大10岁的目标会多进行15%的对话轮次,但索取敏感信息的比例(26.3%)不随年龄变化。仅凭前8句开场白,ROC-AUC达0.87即可预测诈骗升级。
全双工语音对话模型在全序列 RL 中常因奖励采样导致梯度陷阱与信用泄漏,模型在用户插话时无法正确让位或保持沉默。 研究者提出窗口似然(Window Likelihood),通过闭式积分对停止决策进行建模,替代传统逐样本奖励。 在 HumDial-FDBench 上,该方法在六款开源模型中取得最优 yield/hold F1 分数,且不增加重新抢话频率。
新推出的因果语音分离器(含140M至374M参数版本)在实时通话中显著降低转录错误率。该模型在AMI测试集上实现16.13%的词错误率,优于VoxLock的23.66%,且可在单CPU线程上以20ms延迟运行。项目已开源,并提供LiveKit插件。
用音素平均 log-Mel 向量替代冻结 TTS 模型进行文本注入,训练速度提升 1.8 倍且词错误率相当。 系统在 LibriSpeech 上取得 1.36% 至 3.24% 的 WER,结合外部语言模型达到 SOTA。 代码公开,实验涵盖 25,000 小时 Loquacious 数据集。
研究构建了日英双语人设-台词冲突基准,以诊断 Chain-of-Thought TTS 在情感冲突下的规划-合成故障。 QwenEmotion 监督使英文方向准确率升至 84%,日语达 75%;学习式文本-潜空间接口将英文最高提升至 89%,日语唤醒度达 88%。 结果证明,通过学习修复规划到合成接口可恢复与文本情感相悖的语音表现,但该效果在语言与声学维度间存在差异。
研究人员提出 LoRA 微调和双分辨率上下文(TRC)架构,以缓解全双工语音模型在长会话中出现的响应性、内容质量和声音一致性退化。 TRC 架构保留近期交互细节并压缩历史至 KV 表示,实验显示该方法将 KV-cache 增长减少超过 90%,并使稳定性优势延伸至训练时长之外。
研究构建了包含 26,694 个对话、786 小时音频的口语数据管线,定义了请求最早可行动点。 管线通过受控任务生成与对齐标注支持全模态语言模型训练,实现分块级因果决策。 模型在保留对话和 $\tau^2$-bench 外部基准上分别取得 0.48 和 0.47 的 tool-state macro-F1,正确调用平均领先 1.1-2.0 秒。
StyleInstructCaps 发布了首个面向音频语言模型的可控说话风格字幕基准。 该基准包含数据集和评估框架,重点衡量元数据接地性、幻觉率及指令遵循能力。 研究在 9 个 SOTA 模型上发现,指令遵循能力不必然代表风格理解深度。
研究者提出基于 Whisper 预训练编码器的嵌入子集选择方法,在希伯来语和丹麦语 ASR 微调中表现优于随机采样。 该方法使用固定维度嵌入空间与贪心 k-center 算法挑选多样且具代表性的训练子集,k-center 子集在较小规模下捕获更广词汇多样性,显著提升识别效果。
Ollama 的 Mac 应用于 10 月 24 日正式支持文本转语音(TTS)生成,这是 Ollama 首次加入语音生成能力。功能基于苹果 MLX 框架运行在 Apple Silicon 上,首先支持 Gradium 开发的 Phonon 系列模型,在搭载 M5 Max 芯片的 MacBook Pro 上,语音生成速度比 Gradium 自身实现快 35%。
苹果于 10 月 27 日发布软件更新 27.2,宣布新版 Siri AI 新增支持法语、日语、韩语、葡萄牙语和西班牙语。 该功能基于 Apple 智能构建,支持跨应用资料查找、系统级操作及屏幕内容感知,繁体中文等语言计划在年底前上线。 部分调用服务器端模型的功能设有每日使用限额,用户需使用兼容设备并支持相应语言。
腾讯混元同声传译大模型 Hy-SimulMT 发布并开源,支持中英文语音实时互译,实测响应时间 3 秒左右,优于人类专业译员 4-5 秒的平均水平。该模型具备实时音色克隆功能,支持中英语言间的音频输入与实时译文及语音生成。
同一新闻,精选展示《腾讯混元开源 Hy-SimulMT 同声传译大模型》
文章梳理 CosyVoice 至 Qwen-Audio-3.0-TTS 四代语音生成系统,揭示瓶颈从表征、流式分工、规模优化向接口容量迁移的主线。 关键参数包括 CosyVoice 3 扩展至 100 万小时数据及 1.5B LM,Qwen-Audio-3.0-TTS 将帧率降至 12.5 Hz 并扩展至 59,049 索引空间。
Meta 旗下 Ray-Ban Meta Audio 眼镜售价 $349,具备音乐、通话、口述及 AI 助手问答功能,但移除了一项关键功能。 该定价高于部分入门级模型,却提供相似功能,包括日历连接以获取提醒与建议。 因缺少关键功能,更高定价难以被合理化。
Entravision 的电台 José 97.5 FM 推出 AI 双语电台主持人 Coyotec,该角色以西班牙语和英语陪伴拉丁移民听众,参与节目《Al Aire y Sin Permiso》并与人类主持人联合主持。
声网在 iRTE 2026 大会上展示 Agora Conversational Model,通过多模型协作实现全双工响应、推理与工具调用的实时语音交互。 系统整合全球实时网络、音频处理与推理基础设施,提供对话式 AI 引擎、Call Agent 等产品,支持端侧硬件拓展与分布式实时推理云部署。
CounselPlex 是一种压力源感知的全双工咨询框架,旨在解决模型在咨询中忽视求助者核心问题的“压力源盲点”(Stressor Blindness)。 该模型通过在求助者沉默期间更新简短的压力源状态,并在倾听时将此状态注入对应位置,还引入了 RoPE 位置偏移增强(RPSA)以拓宽训练中的位置覆盖范围。
summary_zh: 研究提出 FD-LHB 基准,揭示 5 个全双工语音模型在长对话中因上下文窗口耗尽导致崩溃。 滑动窗口机制引发“初始化锚点驱逐”与重复输出;引入 IAP 与 DRP 可无重训实时抑制崩溃。
提出后训练方法 DIAL-S2ST,通过自蒸馏和 LoRA 适配器实现实时语音到语音翻译的推理延迟控制。 该方法利用 Hibiki 模型和法英翻译任务,仅需 10 小时源语言语音即可实现质量-延迟权衡的灵活调整。 为无配对目标数据或奖励计算的场景提供了监督信号,使发射时机更早期且可控。
X-Dubbing提出了一种联合时序感知语音文本翻译与视频感知文本语音合成的方法。该方法包含生成时序脚本的翻译器和同步渲染的配音员,无需配对配音数据。 实验表明,X-Dubbing在等时性和视听对应性等指标上优于近期基线模型。
研究提出 Uni-Stream,一个基于紧凑预训练语音模型的统一流式语音语言模型,支持语音识别与合成双向交互。 模型通过两阶段训练处理交织的文本与语音流,性能接近专用任务模型。研究者将公开发布生成的转录文本及词级时间戳。 分析发现语音与文本在统一架构中占据不同的潜在特征空间,且模态内表征在深层网络变得更依赖任务。
MG-REPA 通过帧级与话语级双路对齐加速生成式 TSE 模型训练。 在 Libri2Mix 数据集上,该方法使达到 MeanFlow-TSE 基线 OVRL 和 PESQ 性能所需的训练轮数分别减少 3.0 倍和 2.1 倍。 训练 750 轮后,其干扰性指标表现优于 2000 轮基线,且非干扰性指标有所提升。
ISHO 品牌发布理念片,创始人王腾宣布目标用 5-10 年成为全球领先的 AI 睡眠科技品牌。 ISHO 已在 27 个国家或地区提交商标注册,俄罗斯、新加坡、澳大利亚等多地已获批。 ISHO 智能戒指等 AI 睡眠生态产品发布会定于 10 月 29 日举行。
Izwi 0.1.0 首个稳定版发布,免费且采用 Apache-2.0 协议,是一款桌面应用,提供本地语音AI能力。支持实时语音对话(本地ASR→LLM→TTS)、TTS与声音克隆、长音频Studio、带说话人分离的转录,以及OpenAI兼容的/v1 API,现有代码可直接指向localhost。