LLM 推理速度预测:一条直线揭示 MacBook Pro 内存带宽瓶颈
summary_zh: 在 MacBook Pro M2 Pro 上测得 LLM 解码阶段有效内存带宽为 163 GB/s,固定开销 4.03 ms,建立 TPOT 线性预测模型。
summary_zh: 在 MacBook Pro M2 Pro 上测得 LLM 解码阶段有效内存带宽为 163 GB/s,固定开销 4.03 ms,建立 TPOT 线性预测模型。
FlashVMM 发布跨平台 AI 代理沙箱工具,利用自研 FlashVM 微虚拟机在 18 毫秒内启动并隔离代理任务,确保代码执行不触碰主机。该工具支持 macOS、Windows 及 Linux,提供 CLI、HTTP API 及 MCP 接口,允许用户通过命令限制 CPU、内存、磁盘及网络访问,并支持 GPU 资源池化与快照恢复,实现代理运行的安全隔离与资源控制。
推荐理由:FlashVMM 通过微虚拟机隔离 AI 代理执行环境,解决了本地运行代码时的安全风险与资源限制问题。
byob 是一款本地优先的桌面 AI 伴侣软件,支持连接任何 OpenAI 兼容端点(如 Ollama、vLLM),无需捆绑推理引擎或账号。该软件采用原生 GPU 渲染界面,替代了传统的 Electron 架构,可在 Linux、macOS 和 Windows 上以约 60MB 的轻量安装包运行。
OATs 是一套由卡内基梅隆大学开发的微型 AI 智能体系统,通过电子墨水屏为实体物品赋予可表达情绪的虚拟形象。 该系统主模块成本约 20 美元,利用 Gemini Nano Banana 生成图像,根据传感器数据实时反馈物品状态。 目前 OATs 主要作为概念验证技术,续航仅为 3 至 4 天,旨在将 AI 互动从手机屏幕拓展至现实生活。
卡内基梅隆大学博士生 Daehwa Kim 提出了 OATs(Object Agent Twins),一种让日常物品化身 AI 电子宠物的微型智能体系统。OATs 利用 E Ink 显示器和传感器,通过 Google Gemini 的 Nano Banana 图像生成服务,根据传感器数据生成不同的情绪表情。
Row-Bot 支持在 Windows 和 Mac 上通过鼠标和键盘控制本地应用。其安全设计包括锁定 Cua 0.20.0 驱动版本、禁用遥测与自动更新,并限制 AI 接触密码及支付等敏感字段,执行关键操作前需用户确认。
9to5Mac观点称,Meta已将Muse Spark开源模型优化以在Mac Studio上运行,使该设备成为替代已停产Xserve的企业级AI服务器。 Osaurus应用可在16GB内存笔记本离线运行实用本地模型,其中两款仅需8GB内存。 Apple Silicon统一内存架构使企业本地私有推理成为现实,无需部署自研LLM。
三星 One UI 9.5 系统将为高端 Galaxy 手机和平板带来系统级 AI 智能体,旨在进一步拓展 Galaxy AI 能力。 该智能体通过 Personal Agent Core 实现,能整合电子邮件、快递和预订信息,并提供统一的每日信息概览。 它支持通过自然语言管理多步骤工作流程,自动将确认的安排添加至日历,并能将会议录音转换为可执行摘要。
谋先飞(Motphys)发布物理仿真引擎 MotrixSim 1.0,其核心采用 Rust 开发。 该引擎支持多体动力学与机器人仿真,具备 CPU/GPU 异构架构。在 4096 并发下,G1 机器人训练耗时 10.2 分钟,远超传统方案。
韩国电信运营商 LG U+ 将于明年进入 AI Token 业务,利用自研优化技术帮助企业降低 AI 转型成本。 其服务基于 Agent 任务路径设计、智能模型路由和异构半导体芯片组合三项技术,通过将 Prefill 和 Decode 任务分配给不同硬件以降低基础设施成本。 随着 LG U+ 加入,韩国三大电信运营商将全部进入 Token 经济领域。
作者将 2013 年 Recon Jet 眼镜修复并移植 Linux 系统,通过 Claude Code 逆向硬件,构建集成语音识别和视觉分析的智能体应用。项目使用 microWakeWord 处理本地唤醒,通过 llama-swap 调用远程视觉与语音模型,实现了基于相机和麦克风的交互式 AI 眼镜功能,并探索了世界模型构建。
iOS 27.2 引入 Excluded Apps 功能,允许用户将应用排除在 Siri、搜索和建议之外。 该功能通过单一设置替代了此前每个应用的多项开关,被排除的应用无法被 Siri 读取、操作或用于生成建议。 Siri AI 仍处于 Beta 阶段,仅支持 iPhone 15 Pro 及后续机型,且不支持欧盟地区及 13 岁以下用户。
Unus Lumen 发布 GURU,一个开源端侧 AI 框架,支持跨协议控制网络内设备并自带可写能力的本地工具链。框架通过 Tor 路由模型调用,内置 Rust 加密记忆引擎、十二个房间式工作区与 Otio 创作者市场,用户可导入自定义模型并直接安装约 743 MB 的 Android APK 进行使用。
韩国初创公司 DeepX 计划投入超 1 亿美元,在三星电子 2nm 制程上开发面向端侧推理的新一代低功耗 AI 芯片。其首款芯片 DX-M2 已完成流片。 此举为三星晶圆代工业务带来重量级 2nm AI 客户,助力其争夺台积电的市场份额。
谷歌高管 Ammaar Reshi 发布视频,演示在苹果 iPhone Duo 上运行 Windows 11 系统,并开源 WindowsiOS 项目。 该项目借助谷歌 Gemini 4 Carbon 模型开发,通过虚拟机在 iPhone Duo 上运行 Windows 11 on Arm 24H2 系统镜像,支持触控操作,且在半折叠状态下可呈现迷你笔记本形态。
Clowder 是一款 macOS 原生状态面板,通过彩色瓷砖实时显示多个 Claude 编码会话的运行状态,帮助用户快速定位需要交互或已完成的会话。 免费版支持 4 个会话显示,要求 macOS 14 及以上版本及 Apple 芯片。
苹果在采访中说明,其首款智能家居中枢 HomeView 通过多用户识别与设备联动机制,在家庭共用屏幕场景下保护用户隐私。 该设备可自动识别最多 6 名家庭成员,当他人进入摄像头视野时会立即隐藏私人信息,且私人数据不永久存储于设备中。
AI 录音硬件市场拥挤,产品形态从手机背贴延伸至穿戴设备,核心竞争点在于从单纯录音转向构建“个人上下文代理”。Plaud 软件订阅 ARR 达 1 亿美元,设备出货超 200 万台;国内 199 元低价卡普及,海外订阅年费 99 至 240 美元。
苹果推送 tvOS 27.2.1 更新,为第二代和第三代 Apple TV 4K 新增 Siri AI 支持,用户无需更换硬件即可升级语音助手。 该版本需配合支持苹果智能的 iPhone 或 iPad 进行设置,同时为第四代 Apple TV 4K 增加了连接最多四个 HomePod 的环绕声功能。
视频展示了在不购买售价 $9,500 的 Mac 的情况下,获取 192GB 内存用于本地 AI 运行的多种途径。 原标题已清楚点出主体(192GB Local AI / Mac)和核心动作(获取方案/避开昂贵选项),故翻译时保留原意并补充上下文。
Hugging Face 发布 llama.cpp 与 ggml 的 v1.0.0 库版本,确立以重大版本标记 API 和 ABI 不兼容的语义版本规则。该引擎支持跨平台本地多模态 LLM 推理,覆盖 150 多种模型架构及主流推测解码方法,并扩展至 Linux、macOS、Windows、Android、iOS 等发行渠道。
开发者 Torin Etheridge 发布纯 Swift 编写的 LLM 推理引擎 Alpaca,针对 Apple Silicon 优化且不依赖 Python。
韩国国民力量党议员提议增加 65.7 亿韩元预算,用于采购无线电探测设备并安排专职人员防范国家资格考试中的 AI 作弊。 韩国产业人力公团估算,采购 7200 台设备需 36 亿韩元,安排 23559 名专职识别人员需 29.7 亿韩元。 AI 眼镜外观与普通眼镜相似,肉眼识别难度大,引入无线电探测设备有助于提高监考实效。
借助 AI 和 QEMU 模拟器技术,尘封 15 年未发布的 iOS 4 卡片式多任务界面重见天日。 该系统运行在 8A218 版本上,略晚于此前发现的 8A216 版本。 该界面采用九宫格卡片布局,用户连按两次 Home 键即可直接切换应用。
Strata 实现将 125B 参数的 AI 模型部署在消费级硬件上。 原文未提供具体技术参数、benchmark 分数、速度倍数或影响等细节,仅标题表明该方案针对 125B 模型在消费级硬件上的适配。
将计算靠近内存可显著降低数据移动功耗与延迟,推动 AI 推理从数据中心向边缘物理设备迁移。 不同 AI 工作负载需定制化内存架构、互连及处理方式,前置编译能优化 PIM/PNM 场景下的执行效率。 软件支持、标准化及热管理仍是阻碍该类技术广泛采用的主要挑战。
summary_zh: NVIDIA 发布 Alpamayo 2 Edge,这是一款视觉-语言-行动模型,能接收 6 路相机输入并输出行驶路径及决策理由。 该模型基于 Jetson AGX Thor 优化至 45 ms/次规划,实现了每秒 20 次的决策频率,匹配相机采样率。
苹果为 HomeView 推出首个固件更新 Software Version 27.2,修复 iMessage 远程入群及蓝牙未授权配对等安全漏洞。 该更新涉及多个系统组件,限制攻击者绕过配对验证码限制或破坏进程内存,并计划下月为 Siri AI 增加门锁与车库门解锁支持。
中国 AI 芯片制造商 SigmaStar Technology 计划通过港股上市募资 3 亿美元。 该公司总部设于厦门,已与中投公司及中国金融国际集团合作推进此事。
美国陆军向 Safe Pro Group 授予 250 万美元合同,集成其 Ground Truth AI 威胁检测软件到侦察无人机中,以探测 Abrams 坦克前方的地雷、集束弹药和敌方无人机。 该合同旨在帮助装甲部队适应战场上坦克面临廉价无人机威胁加剧的现实。
Grok Bot for Mac 新增 Messages、Mail、Notes、Reminders、Calendar 和 Contacts 六个 Apple 应用集成,并支持 Location 功能。 该功能旨在增强深潜 Apple 生态用户的体验。本月 Grok Bot 达到 1.0 版本,正式退出 beta 测试。
summary_zh: Mount Thor 完成 4500 万美元种子轮与 A 轮融资,旨在构建基于 Apple 芯片的云基础设施,提供 macOS 弹性计算实例供 AI 智能体使用。
研究验证使用 Qwen3-0.6B 和 Qwen3-1.7B 的 8-bit 与低精度副本分歧进行错误检测。在 8,398 道选择题中,0.6B 模型 AUROC 达 0.684,但 1.7B 模型增益不显著。 发现该信号并非量化特有,重排序额外推理路径比单纯增加 8-bit 推理更优,且无法有效替代路由至更大模型。
该研究提出基于NVIDIA Tesla T4硬件的多模态RAG优化框架,将7B模型VRAM占用降至8.37 GB,实现12-16 GB显卡部署。 采用NF4量化保持长上下文稳定性(81 ms/tok延迟),结合Florence-2视觉集成仅增加430 MB VRAM开销;结构化提示词使延迟降低47%,数学推理准确率从35.0%恢复至92.0%。
研究提出流式评估协议 Costream,用于评估穿戴式跌倒检测器在连续传感器流中的表现。 该协议通过聚合窗口级分数生成时间置信度图并发出带时间戳的事件。实验显示,流式评估在 20 个模型窗口配置中有 6 个选出了与预分段评估不同的最优方法,并揭示了误报率等部署相关指标。
该研究提出一种基于智能手机声学信号的非侵入式呼吸相位检测框架,采用混合 CNN-Transformer 架构捕捉呼吸循环结构。在独立未见测试集上,3 类模型实现 76.94% 帧级准确率、Cohen's Kappa 0.65 及 99.2% 呼气检测效率。端到端 ONNX 部署支持低于 20 毫秒延迟的端侧推理,实现隐私保护下的实时监测。
metalSPARSE 是 Apple GPU 上首个 2:4 半结构化稀疏 GEMV 内核,采用 Metal 编写融合解码器。在 Qwen2.5-1.5B 模型上,8 GB M2 设备解码速度比 PyTorch-MPS 快 3.6 倍,16 GB M4 设备比 MLX 快 1.52 倍。
研究人员提出 Metal Sandbox 基础设施,通过跨节点命令级调度优化 Apple Silicon 上 GPU 编码智能体的执行效率。 在 4 台 Mac mini M4 节点上,集中需求下命令吞吐量提升 1.68 至 2.05 倍;动态调度使平均工具等待时间降低 18.8%。 该项目已与 Harbor 集成,并在 GitHub 开源。
Runitlocal.io 是一个本地 AI 平台,允许用户在自有硬件上运行 AI 并探测 GPU 性能。 该服务通过浏览器读取 GPU 信息且数据不上传,速度估算需标记为实测值才准确。
用户在不配备显卡的情况下,使用已停产的 Intel Optane 持久内存成功运行 2.8 万亿参数的 Kimi K3 模型。 该系统采用 40 核三代 Xeon 处理器与 llama.cpp,在 1-bit 量化且开启 DAX 时,输出速度达每秒 1.5 个 token。 该测试速度仍不流畅,3-bit 量化下生成 5 万个 token 需 18.5 小时。