Tap2Listen:面向流式视听说话人提取的即时目标切换模型
Tap2Listen提出了一种流式视听目标说话人提取模型,支持即时切换目标说话人。 该模型将计算按模态分离,音频编码器处理混合信号,视觉线索仅作为解码器条件,切换仅需0.12ms重新投影。 在LRS3-2mix测试集上,SI-SNRi从8.85 dB提升至9.68 dB,且可在单CPU核心上实时运行。
Tap2Listen提出了一种流式视听目标说话人提取模型,支持即时切换目标说话人。 该模型将计算按模态分离,音频编码器处理混合信号,视觉线索仅作为解码器条件,切换仅需0.12ms重新投影。 在LRS3-2mix测试集上,SI-SNRi从8.85 dB提升至9.68 dB,且可在单CPU核心上实时运行。
研究提出小型候选形式化器,通过离线教师生成列表构建显式验证候选项,冻结决策模型据此选择。 在CALVIN-D测试中,DeepSeek V4 Flash pose候选项成功率达46.5%,对比通用动作的11%;本地部署模型在1,011个验证标注中,使用微调形式化器成功率52.6%,无则为11.8%,端到端延迟2.09秒。
受 AI 需求拉动导致内存等零部件涨价,惠普、华硕、宏碁正将部分 PC 产能从东南亚迁回中国,并与本土新兴代工厂展开合作。由于头部代工厂转向利润率更高的 AI 服务器订单,立讯精密、华勤等新兴厂商正承接全球 PC 品牌的新增订单。受此影响,7 至 9 月全球 PC 出货量同比下滑 21%,预计第四季度降幅将达 24%。
针对带宽受限与算力不足的资源匮乏地区,云边协同架构利用边缘轻量化模型与云端 LLM 实现多模态临床筛查。 在 20 个多模态病例、500 kbps-5 Mbps 网络条件下,系统实现 98-99% 诊断工具召回率、92-96% 精确率,且 token 成本降低 4-15 倍。 该设计优于纯云端基线,在部署限制下显著提升了多模态数据整合效率与事实依据可靠性。
研究发现单流 WebGPU 大语言模型推理中,单次操作 dispatch 开销而非内核计算主导推理成本。 测量表明 dispatch 成本与数据类型无关,受控融合实验证实在 batch size 1 时瓶颈源于 dispatch 次数。 结论指出优化路径在于减少 dispatch 次数,并推动引擎及 WebGPU 规范实现 dispatch 摊销。
针对 Tsetlin Machine 的 T 与 s 训练超参数,提出将准确率作为约束的定向搜索策略,通过增大 s 降低推理延迟。 基于 gem5 模拟器和 ARM 处理器测试,在保持基准准确率的前提下,该方法在六个数据集上将推理延迟最多降低 16.34%,部分数据集准确率仅下降 0.06%。 该策略所需配置评估次数远少于穷举网格搜索,显著提升了训练效率。
AgriDefend是一款基于Raspberry Pi 5的离线边缘设备,通过融合MobileNetV2和随机森林实现作物健康预测。 该设备BOM成本为205美元,约是同类商用节点的五分之一,在无云连接限制场景下具有实际应用价值。
该研究提出条件扩散框架,通过生成合成 DVL 与惯性信号替代真实海试数据,解决自主水下车辆(AUV)深度学习训练数据获取成本高的问题。 模型基于 Elucidated 扩散架构,以三个逐通道运动描述符为条件,在 13 条真实轨迹上验证生成信号的 Pearson 相关系数达 0.72 至 0.997,且可泛化至未训练轨迹。
研究者提出误差扩散(ED)优化器,将二值化语言模型训练状态从 97 bit/权重 压缩至 3-9 bit/权重。 ED 利用 2-8 bit 残差缓冲区替代隐变量权重,在字符级 Transformer 上收敛性能达到参考基准的 98.3%-95%。 该方法使二值模型在 275 MB 内存预算下实现设备上适配,摆脱了对高精度隐变量副本的依赖。
研究提出参数化 Tanh 连接函数,以 4 个可微参数替代复杂 B 样条,解决边缘激活范式的计算瓶颈。 该模型在 MNIST 达到 95.63% 准确率,在 CIFAR-10 达到 44.74%。相比 7 参数指数基线,训练运行时间减少 85%,显著提升硬件扩展性。
研究发布 CallScreenBench 基准,评测运行在手机上量化至 4-bit 的 0.6-4B 小语言模型作为“电话秘书”的文本对话决策能力。该基准重点评估所有者对代理处理未知来电的认可度,包含五组自动指标及三项警惕性诊断,不定义综合分数。
VitalAgent 提出了一种基于 ECG/PPG 信号的 mHealth 工具增强型智能体框架,支持反应性问答与主动性监测。 该框架构建了纵向生理记忆,并引入了 VitalBench 基准(含 1,862 个问答对和 90.2 小时连续记录)。 实验显示其反应性评估比基线提升超 25 分,能实现长期生理信号预警,获 NeurIPS 2026 工作坊接收。
AIPC 结合结构化 Skills 与工具链证据,实现 PyTorch 项目在高通 NPU 上的自动部署与优化。 在两个优化案例中,Whisper-Small 有 6/7 次运行达标(对照组 0/6),YOLO-Worldv2 实现 2.791 倍端到端加速(对照组 1.599 倍),部分运行无需人工干预。 该方法将模型适配、构建、执行、精度修复与性能优化整合为单一部署流程。
研究者提出 SPARTA 稀疏三值 LLM 加速器,专为长上下文边缘推理设计,通过统一数据通路和自适应注意力引擎解决内存带宽瓶颈。 该系统在 1.58-bit 三值权重下,将 KV 缓存流量较全注意力减少 4.1-4.8 倍,较现有稀疏注意力方案减少 1.3-1.5 倍,支持预填充与解码阶段的异构稀疏性优化。
基准测试 VLA-HWBench 显示,VLA 模型动作生成策略对推理延迟的影响远大于模型参数量。 在 18 个开源 VLA 模型测试中,Jetson 平台上延迟差异达 82 倍,而参数量仅解释 15% 的方差。
提出无需训练的推理加速框架 TRIAGE,在保持任务成功率的同时显著降低预填充延迟。 通过令牌级诊断发现,缓存复用与剪枝策略的有效性取决于令牌漂移值;复用高漂移令牌会导致最高 4.4 倍的动作误差,而 TRIAGE 据此动态分配固定重算预算。
summary_zh: EEGBiFormer 是一种混合 CNN-Transformer 模型,实现了基于 16 通道 EEG 信号的实时注意力二分类,系统延迟低于 100 ms。
针对 DNN 部署中电压标称带来的能效挑战,提出基于累积感知量化与混合精度修剪的硬件-软件协同设计方法。在 2nm 工艺节点上,该方案在低压下将能耗降低 39%,能耗延迟乘积降低 23%,且精度损失控制在 1% 以内。该工作已被 ICCAD '26 会议接收,为提升边缘设备能效提供了新路径。
研究在树莓派 5 上评估离线 RAG 信任机制,提出 C0-C4 连通性状态框架。检索评分门控检测知识缺口 AUROC 达 0.97;3B 模型以不到一半时延和能耗达到与 7B 模型相同的正确率。 已签名有毒数据包可通过所有包检查,导致 30 道原本正确问题正确率降至零,现有机制未能确立证据真实性。
AGQ方法在LIBERO基准上实现W3量化92.7%任务成功率,超AWQ和GPTQ分别1.2和3.7个百分点,并支持W2.5量化70.5%成功率。 该方法结合动作敏感度与权重恢复成本代理指标分配矩阵比特宽度,采用非对称W1.5*配置实现6.10倍完整模型压缩,维持25.5%任务成功率。
HobbyLM 是一个由多名作者在数百至数千美元预算内训练的稀疏 MoE 小模型家族,核心包括 500M 参数架构(169M 激活)与 333M 参数的图像生成模型。模型采用细粒度专家与辅助损失自由的负载均衡,支持多模态推理;HobbyLM-1B 在 7 项基准测试中平均得分 47.5。该系列在笔记本电脑 CPU 上通过自研 Rust 引擎运行,展示了低成本 AI 模型的可行性。
开发者在微软 Surface Duo 2 上成功原生运行 iOS 26.5.2 系统,双屏触控功能正常,帧率从 3-10fps 提升至 37fps。 该项目利用开源 XNU 内核和自定义 UEFI 加载器完成移植,将设备识别为“ iPhone 17 Pro Max”,并计划尝试移植 iOS 27。
运行在 Apple Silicon macOS 上的 AI Phone 代理现已开源(AGPL-3.0),支持本地语音处理,仅支持英语和单通话。 默认使用 4B 本地模型,需 16GB 内存;可选 Claude、Codex 或 OpenAI 兼容端点作为语言模型,测试首响中位数为 1.50 秒。
Opera 推出名为 WebAI 的 Web 标准,允许用户在浏览器中直接运行 AI 模型,无需依赖云端服务。Opera 已在 Opera One 中以早期预览版推出该功能,并计划随后支持 Opera GX 和 Opera Neon;用户需主动启用。
Giotto 平台发布两款 AI 模型 Alto 与 Solo 及其配套操作系统,支持在欧洲云或私有基础设施部署。基准测试显示 Giotto Alto 在 AIME 2026 得分 100.0%,Giotto Solo 宣称可在单 GPU 运行并在 Math-500 得分 99.80%。
千里科技发布了一款内置10 TOPS NPU的4D毫米波雷达,支持从ADC采样到目标跟踪的全链路本地AI处理。该雷达相比上一代产品,点云密度增强10倍,探测距离提升40%,鬼影消除提升至95%。它提供边缘侧、卫星架构及兼容三种工作模式,旨在通过软硬一体的协同设计,将雷达从目标级汇报者转变为特征级协作者,以适配不同功能等级和EE架构的整车平台。
Liquid AI 发布新一代开源 Liquid Foundation Model(LFM3),将文本、视觉、音频、omni 和决策任务放入同一 2B 级底座,所有模型都可在单卡上微调并部署到边缘设备。
推荐理由:Liquid AI把六种模态压进2B级开源权重,并用同一底座和单卡微调路径解释它如何落到边缘部署。
Snippet 发布了一个运行在用户本地计算机上的常驻 AI 编码智能体团队。它由 Mission Control 分派工作,支持从手机、桌面或终端提问,并可以按小时或按周触发依赖检查和 flaky test 扫描。每个 agent 拥有独立角色、颜色和基于 repo 内纯文本文件的记忆。
科大讯飞发布依托全国产算力训练的星火语音基座大模型SparkAudio 1.0。该模型支持文本、语音双模态输入,可完成语音转写、多方言识别及复杂音频问答等任务。基于该基座,讯飞孵化出Spark-ASR-2.0、Spark-LiveTranslation等专用任务大模型,已落地讯飞输入法、AI眼镜等软硬件产品。
开发者发布 Snippet,一个基于 Rust 单二进制文件的终端 AI 智能体,支持 Android、macOS、Linux 和 Windows 移动端通过 Tailscale 或 Cloudflare 隧道进行远程控制。
Rittika Jindal 使用 OpenCode 智能体和本地运行的 Qwen3.5 9B 模型在完全离线状态下成功修复了代码缺陷。这一实践验证了 6.6-7.6 GB 参数量的本地大模型在断开网络连接时仍能有效完成基础编码调试任务。
Carmen 是一个测试和验证 LLM 生成的 Metal GPU 内核的工具。实测显示,Claude 生成的融合内核在 Qwen 0.5B 上比 MLX 快 1.82 倍,但受限于内存带宽,在 3B 模型上加速效果微乎其微;实际提升主要依赖推测解码。
推荐理由:揭示了单核优化在内存受限场景下的收益极限,并给出了在本地 Mac 上验证模型加速的可执行 CLI 方法。
Opera 发布了名为 WebAI 的新网页标准,允许用户在浏览器中直接运行本地 AI 模型而无需依赖云端。该标准支持 Google Gemma 等开放权重模型及 Apple 端侧模型,并在 Opera One 中提供早期预览,后续将扩展至 Opera GX 和 Opera Neon。
Imp 是一款专为 NVIDIA Blackwell(RTX 50 系列及 RTX PRO Blackwell)显卡打造的 LLM 推理服务器,完全由 Claude Code 编写,支持 OpenAI 和 Anthropic API 兼容接口。
乐奇Rokid发布第二代AI眼镜Rokid Glasses 2、首款全彩AI眼镜Rokid Color及智能戒指Rokid Ring。Rokid Color支持全彩显示,配备JBD定制0.16cc Micro-LED光机,重量55g,起售价4999元。Rokid Ring通过微手势隔空交互,起售价1699元。
Frigade 发布 Hob,这是一款免费且采用 MIT 协议的跨平台桌面应用,支持 Mac、Windows 和 Linux。 Hob 根据硬件自动选择最佳开源权重模型(需 8GB 以上内存),支持离线填写 PDF 及处理文档。 它为重视隐私的用户提供本地云助手替代方案。
Ollama 桌面应用宣布支持本地文本转语音(Text-to-Speech)生成,Windows 和 Linux 版本的支持也在近期推出。在 macOS 上,Ollama 首次支持由 Gradium 开发的 Phonon 语音模型,可实现实时语音生成,用户无需等待响应完成即可收听。
RandComp Studio 是一款仅限 macOS 的本地桌面应用,通过协调 Claude Code、Codex、Kimi 或本地模型组成团队执行编码任务。 其工作机制是计划、构建并由独立检查器验证,支持 GUI、CLI 及 MCP 接口,无需账号且数据不经过 RandComp 云。 应用免费,早期预览阶段无任务限制,所有文件和终端操作均保留在用户本地计算机。
提出Alignment Adapter (AlAd)框架,通过事后对齐压缩模型的token embedding与参考模型以提升下游任务性能。 AlAd是一个置于压缩模型最终层后的小型前馈网络,可读取相邻token窗口利用局部上下文。使用BERT-base作为参考,在POS标注、NER和抽取式问答任务上,AlAd能改善四个BERT压缩变体表现,且联合微调效果优于冻结模型。
研究揭示蒸馏小型语言模型拒答评估的三个机制:拒答丢失、采样波动及选项捕获。 重采样显示10%-27%的拒答转为刻板印象答案;仅条件于已提交答案可防止误判公平性。 学生模型在科学问题中捕获拒答选项达95%,自由形式评估证实多选遗漏并非刻板化主要位置。