Autonomous AI Lamp 发布:新增多模态感知与智能推理架构
Autonomous AI 团队发布新款桌面机器人产品 Autonomous Lamp。该产品具备多模态感知能力,可通过内置摄像头追踪用户面部,并在用户说话时通过声源分离实现自然打断与响应。
Autonomous AI 团队发布新款桌面机器人产品 Autonomous Lamp。该产品具备多模态感知能力,可通过内置摄像头追踪用户面部,并在用户说话时通过声源分离实现自然打断与响应。
针对旧金山1000家本地商家的AI电话实验显示,仅1/3商家在接通并听到AI自我介绍后继续通话,多数选择静默挂断。 不同行业差异显著:兽医诊所接通率达79%,牙科诊所为61%,而酒吧和干洗店仅约20%。1/25的商家已部署AI接待员。 该单一城市一周的测试旨在评估本地企业对AI代理呼叫的接受度,为构建AI语音代理提供现实参照。
用户在本地药房电话中体验名为 Caroline 的 AI 客服,其语音、举止及背景打字声逼真,仅在出现随机鹦鹉学舌式错误时露馅。 银行发送的邮件查询回复同样由无免责声明的 AI(如 Sarah)处理,虽初期具有说服力,但提问非理性建议时会退化为 ChatGPT 典型的无法解决问题回答。 文章指出这种 AI 客服比纯粹的 AI 伪造更令人不安。
SpeakoFlow 是一款免费开源的跨平台语音听写与AI助手工具,支持 Windows、macOS 和 Linux。默认在本地运行语音转文字,内置离线 AI 助手,并支持会议记录整理、屏幕视觉查询及语音对话功能。
推荐理由:提供跨平台本地语音输入与AI助手功能,支持离线运行及会议记录生成,适合注重隐私的开发者使用。
苹果全球营销高级副总裁官宣将于10月13日举办“欢迎回家”智能家居特别活动,届时预计推出带屏中枢HomePad、新款HomePod mini及Apple TV 4K。 HomePad配备约6英寸触摸屏,支持视频通话与音乐播放,可通过面部或声音识别家庭成员以展示个性化内容。 新设备支持新版Siri AI,苹果正与LG合作开发门锁等配件,活动将成为新CEO上任后智能家居领域首次重要动作。
语音质量预测器的常用抗攻击度量存在缺陷,未考虑神经编解码器处理链导致的分数偏移,且单一攻击者测试无法代表最坏情况。 在修正协议下,NISQA 语音被 90% 句子的攻击攻破,SSL-MOS 为 21%,DNSMOS 为 14%,UTMOS 为 6%。 现有的检测修补闭环在域外场景下会导致最高 0.30 的 SRCC 性能损失。
FA-Bench 发布统一评测框架,纳入 21 个开源模型与 9 个商用 API,采用基于容忍度的 F1 指标修正 MAE 导致的 9% 至 14% 分数膨胀。 该基准将边界按位置和邻词识别状态分组,发现 Whisper 系统性提前约 150 ms,多个商用 ASR API 延迟超 50 ms。 通过固定文本归一化与评分脚本,解决现有对比因数据分割和边界匹配方式不同导致结果无法直接比较的问题。
微调 Wav2Vec2 和 HuBERT 模型后,其在两个富含 click 辅音的 Khoisan 语言数据上的结果显示,模型识别 click 辅音的准确率始终高于非 click 辅音。这一结果表明,自监督学习赋予了模型跨人类语音声学生成的泛化能力,即使是对于罕见音位也能有效识别。 该研究针对训练数据中低资源语言代表性不足的问题,验证了自监督模型在识别跨语言罕见语音特征时的有效性。
DiffuPlex 提出滚动掩码扩散框架,通过单次骨干唤醒预测多个未来帧,显著减少全双工语音对话模型中的顺序计算。 在部署路径上,DiffuPlex-LISTEN 和 DiffuPlex-SPEAK 分别实现 1.46 倍和 1.59 倍的墙钟加速,核心 LM 加速分别为 1.61 倍和 1.80 倍,且所有骨干调用均在 80ms 交互间隔内完成。
研究提出 SimIF-Bench 基准与基于 GDPO 的训练配方,解决全双工模型随对话历史增长而难以控制的问题。 SteerablePlex 连接异步后端语言模型以提供指令,比现有开源模型及 GPT-Realtime 更可靠地遵循多阶段约束。 该方法使模型在保持对话轮次能力的同时遵循文本指令,提升了作为用户模拟器的评估可靠性。
EgoVoice 提出了一种训练和评估主动自我中心语音助手的框架,利用 HoloAssist 视频构建数据,通过微调全模态 LLM 和直接偏好优化,显著提升了干预时机和内容相关性。 该研究使用源分离和语音重合成技术生成干净音频流,使模型能自主决定何时说话。 实验证明 EgoVoice 优于零样本基础模型,并被 EMNLP 2026 主会接受。
研究利用低通滤波语音预测文本,微调 Whisper 模型仅使用 12 个最低 Mel bins(约 450Hz 截止频率)。 整体 WER 达 36%,10% 语句完美恢复,40% 语句 WER 低于 25%;给定正确前缀时,下一个 token 预测准确率为 79%。 结果表明低频语音特征与词汇内容关联强于预期,可为 LLM 文本生成提供新应用方向。
移除语音解析模型中的中间神经网络单元,可将参数量减少12%,且在ASR和解析任务中性能与之前方法相当或更优。 该架构简化方案在法语及斯洛文尼亚语、尼日尔皮钦语等低资源语言上得到验证,并探讨了预训练编码器冻结及训练数据规模的影响。 该工作将发表于EMNLP 2026 Findings。
研究发现多语言语音模型存在音系干扰,处理代码切换时丢失 32% 至 79% 的非共享音素。 引入窗口化语言估计(WLE)在推理时修复该问题,移除 34% 至 69% 的干扰。 单语性能基本保持不变,解决了模型强加单一语言音系的系统性失效。
研究提出本地原型重建(LPR)正则化器,提升多语言 ASR 和语音翻译中语音-LLM 桥接的迁移能力,尤其在低资源场景下增益显著。 LPR 要求对齐的桥接 token 可从冻结 LLM 嵌入的局部邻域中重建,并证明该词法流形兼容性与下游性能正相关。 该方法无需修改模型结构,为可复用桥接初始化提供了可量化的诊断标准。
研究审计了 LLM 提示法 tau-Voice 与规则注入算法在模拟语音自然度行为(如冗余、打断、回应)上的表现,发现 LLM 提示法不可靠且语音与指令不一致。 相比之下,无模型规则算法能生成更符合自然语音的可控且多样化行为。结果表明,未经专项训练的 LLM 不足以模拟真实用户行为,需通过审计实际行为而非配置来识别差距。
匿名艺人 Kilo Kent 和 Zemi 签约 Isekai Records,使用 Suno 修改人声并配合 AI 虚拟形象,在社交媒体上获得数百万甚至数百万播放量。 二人强调歌曲的创作、编写和混音均由人类完成,Suno 仅用于类似自动调音的人声处理;Zemi 称其此前拥有近 10 亿次播放的制作背景。
Google 发布了一款实验性的离线会议记录 App——Google AI Edge Foresight。它基于 EmbeddingGemma 2 模型在 macOS 上本地运行,可离线转写会议和音频,并根据笔记将简略要点转化为“精美笔记”。App 内置助手,可提问会议内容并连接本地文件用于回答。该 App 目前仅支持 Apple Silicon Mac。
AI 与硬件初创公司 Natura 发布智能指环 Interface,售价 99 美元,主打通过指环调用 AI 智能体完成日常任务,同时保留心率、HRV、睡眠和健康追踪功能。指环首发时支持连接 Meta’s Muse、Claude、ChatGPT 等智能体,预购预计下个月开放,发货时间为十二月或一月。
阿布扎比技术创新研究所(TII)发布 1.6B 参数 Falcon-ASR 语音识别模型,重点针对阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。
推荐理由:阿拉伯语音识别模型取得领先基准成绩,读者可了解其在多方言混合语音与复杂录制条件下的表现细节。
dialtrace 是一个零依赖的命令行工具,将 Telnyx 电话事件与自定义流程阶段放在同一时间轴上,帮助用户定位语音AI电话中的等待来源。工具区分了网络信令、人肉接听和AI推理耗时,示例显示从拨号到听到第一声的1.49秒中,85%耗在自有管道。它通过本地Webhook接收标记,结合Telnyx的call_quality_stats提供MOS等通话质量数据,并解释了为何无法拆分信令与振铃时间。
SteerSpeech 提出一种轻量级激活引导框架,通过在 TTS 模型隐层注入引导向量控制情感,保持模型主干冻结。 使用低秩变换和多专家目标优化,结合直通估计器处理离散语音 token。
研究指出公开预训练ASR模型微调部署时对抗扰动易迁移,新框架TransferBreaker通过集成基模型对抗微调、潜在雅可比正则化及混合梯度AFT,将三种语言四个模型的对抗WER从92.6降至27.8。 该框架理论上证明了各组件有效性,并公开了源代码。
在已知任务音频LLM评估中,引入匹配选择器后,允许生成音频调用的增量准确率提升仅为0.004(95% CI [-0.025, 0.033]),且未达到显著水平。
WaveScat 提出一种结合小波散射变换(WST)的语音特征提取器,在 Deepfake-Eval-2024 基准及 SpoofCeleb、In-the-Wild、ASVspoof 5 跨数据集评估中性能显著优于现有前端。 该模型通过级联小波卷积与模态非线性生成形变稳定、多尺度特征,分析表明小平均尺度结合高频和方向分辨率对捕捉细微伪影至关重要。
Brain2Semantics2Text 提出了一种通过中间语义嵌入空间重建文本的无创解码方法。 该方法将句级 MEG 响应映射到语义流形,再逆推预测嵌入为自然语言,避免了逐词对齐。 相比既往无创 Brain2Text 方法,其在句级解码结果上实现了性能提升。
针对低资源场景下语音大语言模型(speech LLM)性能下降的问题,研究提出了“音素引导初始化”方法,在端到端框架中利用音素中介特性优化 ASR 任务。 具体通过先在 S2P 任务上预训练音频编码器、在 P2G 任务上预训练 LLM,再连接并进行全模型端到端微调;实验覆盖日语 CSJ、中文 AISHELL-1 及 Common Voice 25.0 中的塔塔尔语和乌尔都语。
EmphTTS 是一个非自回归 TTS 系统,通过在时长预测器上应用 GRPO 和重点定位奖励,实现了词级重点控制。 该系统在重点可控性和客观评估中表现最佳,主观偏好测试中显著优于合成基准和多数基线模型。
研究在 Moshi 模型中采用均值差异激活引导,发现情绪可从残差流线性解码,但引导效果不均:happy、angry 和 surprise 趋向共享方向,而 sad 可独立引导。 该方法仅涉及每帧几次向量加法,无需重新训练,且三情绪共享成分无法被均匀投影移除。
基于 7.5 小时双人对话适配的流式分离器提升域内检测精度,但损害说话人身份归因。 适配在六个语料库评估中显示身份一致性受损,而非说话人数错误;局部重映射诊断揭示不同语料库的退化模式。 排练虽减轻退化,却降低跨域迁移性能,强调需联合评估检测、一致性与保留行为。
Itgan 团队在 NADI 2026 共享任务中利用消费者级 GPU 和 LoRA 微调 Whisper,完成了鲁棒国家级、混合方言及突尼斯语码切换三项阿拉伯语 ASR 子任务。 鲁棒国家级 ASR 取得 57.1% 平均 WER,混合方言 ASR 达 46.7% WER,突尼斯语码切换 ASR 以 14.49% WER 和 5.38% CER 获得第二名。
JoyAI-Voice 2.0 发布,基于全连续双编码器架构,实现端到端拟人语音生成。 模型在 Seed-TTS 上取得 2.51% 平均字错率(WER),较最强基线降低 14.9%。 该模型在 InstructTTSEval 中创下中英文 SOTA 属性保真度,MDVD-Eval 综合得分 0.893。
研究显示,儿童 ASR 适应对非母语语音至关重要,但直接适应通常会降低成人 ASR 性能。 实验在阿拉伯语和英语上比较了全量微调、LoRA 及权重空间合并,发现权重空间合并在编码器-CTC 等架构上更能平衡适应与保留。 代码和模型已在公开 URL 提供,供复现使用。
研究团队推出 WorldSonus 框架,专为世界模型实现实时空间音频合成,RTF 低至 0.41。 该框架采用流式因果自回归扩散架构,结合音频中心字幕流水线与 chunk 索引提示调度,支持生成过程中的动态声音控制及立体声空间对齐。 实验显示,WorldSonus 在开放域视频到音频基准上性能匹配或超越最先进模型。
研究表明多语言语音匿名化攻击效果依赖语言效用,声学导向攻击者整体表现优于内容导向攻击者。 当语言信息保留良好时,两类攻击者的性能差距显著缩小;构建的多语言语音转换数据集有效提升了跨语言泛化能力。 发现凸显了综合考量隐私与效用、建立更全面攻击评估协议的必要性。
Jarvis 是一个实时主动语音智能体,能参与多方对话并在群体遗漏或误述事实且未及时自纠时介入。 它基于预共享文档运行,利用小型开源权重模型加确定性检查,并在屏幕上展示引用证据。 在 CHI-180-proactive 评测中,Jarvis 在绝大多数介入事件中判断正确,且在群体自行解决问题时保持 97% 的沉默率。
全双工语音模型在自导对话中呈现时序耦合,但轮次切换较人类显著滞后。 两个 PersonaPlex-7B 实例在共享时钟下交换音频令牌,其中位切换延迟为 400-560 ms,远高于人类的 137 ms,且末段轮次转移占比极低。 这种反应式等待机制表明模型未能实现人类所需的轮次结束预判,可能限制其模拟自然人类对话的能力。
PERSIST提出了一种针对多会话、多说话人语音对话的持久记忆系统,通过3W联合评分机制结合语义、声学身份和时序状态进行检索,将检索延迟从578.42ms降至7.03ms。 系统引入SpokenTrace基准测试,PERSIST在此任务中达到85.08%的端到端任务准确率,并将BGE-large的EM@3指标从49.01%提升至82.10%。
该工作流交付模块化离线语音架构、低成本硬件 BOM 及 2-5B 参数模型量化基准管线。在 NVIDIA Jetson Orin NX 上,gemma-4-E2B-it 于 Q4_K_M 量化格式下实现 28.8t/s 吞吐量。所有模型均在 Raspberry Pi5 的 16GB 内存预算内运行,兼顾了离线部署需求与性能。
该科幻剧集工作流使用 Claude 协同撰写文案,采用 Kokoro TTS 配音,每集生成约 381 张 Flux 图像,并通过 Python 脚本与 CapCut 完成剪辑同步。 制作中 Flux 生成图像的文字出现乱码需人工筛查,单集时长接近 50 分钟因此拆分为两部分;本地运行的 Qwen3-TTS 在添加情绪标签时表现不稳定,仅 Kokoro TTS 效果可用。