Conn3x 支持一条命令部署私有 RAG 向量数据库沙箱
Conn3x 发布了支持一键部署私有 RAG 系统的功能更新。该工具在 DigitalOcean 上通过一条命令创建 Ubuntu Droplet,并配置 Ollama 和 Qdrant,实现了数据不出本地的私有检索增强生成架构。
Conn3x 发布了支持一键部署私有 RAG 系统的功能更新。该工具在 DigitalOcean 上通过一条命令创建 Ubuntu Droplet,并配置 Ollama 和 Qdrant,实现了数据不出本地的私有检索增强生成架构。
国行版苹果智能随 iOS 27.3 推送,确立了苹果端侧模型处理翻译、转录,复杂任务调用千问大模型的架构。实测显示苹果在基础效率功能上表现成熟,但复杂任务需跳转千问 App,整体能力较国内 AI 手机 Agent 化趋势滞后,主要差异体现在跨生态联动与自主权设计上。
文章实测了面向中国大陆开放的 Apple 智能开发者 Beta 版,重点展示了写作工具、视觉智能、照片消除及 Siri 升级等功能,其中部分复杂任务通过千问扩展处理能力。
本地 AI 应用 Yanah 允许在 8GB 内存的 Mac 上运行 80B 参数模型,数据完全本地存储。 无需互联网即可聊天,模型文件小于 50GB,利用新技术在普通 Mac 上达到聊天速度。 实现无订阅、无数据收集的私有化部署,降低环境影响并普及大模型使用。
summary_zh: Adamanteum 发布社区版,这是一款本地优先、采用 MIT 许可的知识图谱工具。它支持用户阅读和探索笔记,并允许任意 AI 通过 MCP 协议以只读权限访问数据。
微软曝光 Win11“混合智能”AI PC 路线图,将硬件划分为 4 个层级,其中 Tier 0 涵盖 8GB 内存设备。 Tier 1 为 16GB-64GB 内存的 Copilot+ PC,支持从骁龙 X2 Plus 到 AMD Ryzen AI MAX+ 400。 该路线旨在结合云端与本地算力,让用户即便无顶级 NPU 也能获得 AI 能力。
Apple 在 iOS 27.3 及 iPadOS、macOS、visionOS 27.3 测试版中开放 Siri AI 开发者预览,允许开发者通过 App Intents 接入其个人上下文理解与屏幕感知等能力。Siri AI 目前支持英语、法语、日语、韩语、葡萄牙语和西班牙语,计划未来扩展简体中文等语言,相关应用将在今年春季开放 App Store 提交。
苹果向第三方开发者开放 Siri AI“应用技能”,支持执行多步骤任务。该功能随 iOS 27.3 和 macOS 27.3 更新推出,目前处于开发者测试阶段。 通过应用提供的技能,Siri 可串联调用多个应用操作,例如自动查找收藏并发送特定物品给指定联系人。 Siri 正从响应单项指令转向协调苹果及第三方应用完成连续任务,实际体验需待后续版本验证。
苹果在 iOS 27.3 Beta 中扩展 Siri AI,新增繁体中文、挪威语、土耳其语及越南语,总支持语言达 10 种。 Siri AI 可在日历、邮件、信息、Safari 等 15 款 App 中执行管理文件、定时发消息、清除浏览历史等复杂任务。
苹果推送 watchOS 27.3 首个开发者测试版,为 Apple Watch Series 12 和 Ultra 4 带来 Siri 回顾与 Live Rewind 功能。 两项功能需 Apple 智能支持,Siri 回顾通过环境聆听生成对话摘要,Live Rewind 显示最近 15 秒实时转录。 苹果强调隐私保护,原始音频由 S11 芯片处理后立即删除,且不保存录音或识别说话者。
开源项目 braindead-local-intelligence 利用 Podman 容器打包 LLM 与图像生成服务,提供 OpenAI API 兼容的本地 AI 体验。 支持 AMD 显卡,最低需 4 GB VRAM 和 8 GB RAM,默认模型下载约 8 GB。 适用于家庭硬件实验,支持 Qwen3.6 35B 等模型,数据本地化处理。
Apple 于周二发布 iOS 27.3 和 watchOS 27.3 首个开发者 Beta 版本,开启持续监听 AI 工具、中国 AI 平台及新 Health 应用的广泛测试。 这些 AI 监听功能配合 Series 12 和 Ultra 4 智能手表,利用设备麦克风追踪并分析周边对话,相关能力已在一个月前的 9 月产品发布会上公布。
本地 AI 可通过满足隐私、速度和本地控制需求,在特定场景中找到持久的市场空间,无需在性能上超越前沿模型。 推理成本降低及 Jevons 悖论增加了总计算需求,部分工作负载转向边缘设备。Google AI Edge Foresight 和 Ollama 等工具展示了本地模型在路由、知识管理和听写中的应用价值。
Apple最新季度财报创纪录,iPhone和Mac营收大增,公司表示AI是驱动销售的关键,但并未在基础设施上投入与Amazon、Alphabet同等规模的资金。
本文整理了 vLLM、SGLang、MAX、TensorRT-LLM、LMDeploy、llama.cpp、Ollama 和 MLC-LLM 八个 LLM 推理框架。文章对比了各框架在吞吐量、硬件兼容性和并发支持上的特性,并提供了针对数据中心和高并发的选型建议。
利用 Google 官方 `udm=14` 参数或轻量级扩展,用户可在 60 秒内隐藏 AI Overview,恢复经典 10 条蓝色链接搜索结果。 该参数隐藏于 2024 年 5 月被引入,支持 Chrome、Firefox、Safari 及移动端,无需安装复杂插件即可绕过 AI 摘要。
高通科技委托调查显示,超过 12,000 名受访者中 70% 对个人 AI 智能体表现出强烈兴趣,个人 AI 已从早期实验转为大规模使用习惯。 60% 的穿戴设备用户每周使用 AI,智能手表平均连续佩戴 9 小时,用户更看重跨设备协同的智能体而非单一硬件。 隐私、安全及用户控制是主要信任门槛,近 60% 受访者要求数据共享前获得许可。
华为乾崑智驾ADS累计辅助驾驶里程突破174亿公里,月活用户占比达95.2%。 其辅助驾驶状态下严重碰撞前平均安全行驶里程为1082.7万公里,是国人驾平均值的6.02倍。 该数据表明其高阶智能驾驶系统在安全性上显著优于传统人工驾驶。
英特尔正考虑停产游戏显卡 Arc B580,将 BMG-G21 核心资源转向 Arc Pro B50、Pro B60 等工作站等高利润 AI 产品。 Arc B580 首发定价 249 美元,目前在多数零售商缺货,且英特尔尚未就此发布官方通知。 此举旨在应对当前市场状况,利用核心优势布局利润率更高的专业市场。
nRF71 芯片支持在单一硬件上同时运行 Wi-Fi、Bluetooth LE、Thread 和 On-Device AI。 该芯片将通信协议与端侧智能能力整合,减少了对独立 AI 加速器的依赖,适用于边缘计算场景。
B站 UP 主“御坂10247号”宣布成功将华为 MateBook E Go 2023 刷入 iOS 16 系统,实现超大屏 iPhone 体验。 全流程由阿里通义 Qwen3.8-Flash(Next)本地模型辅助完成,当前设备暂无驱动,UP 主计划完善后开源。
联想开天推出首款信创 AI 主机,搭载兆芯 KX-7000 处理器与后摩 LQ50 NPU,提供 160 TOPS 本地算力并预装天禧 AI Pro 智能体。 该主机配备 24GB NPU 专用内存与 153.6GB/s 带宽,支持最高 320 TOPS 算力,并适配 Qwen3.5 系列及 Qwen3.6-35B-A3B 等开源模型。
EVOLV 是本地优先的自进化 AI 智能体工作区,通过单 Go 二进制运行,实时重写自身 UI、工具及代码,支持 Ollama 或任意 API key。 技术采用“进化账本”记录变更,文件系统监听器通过 WebSocket 推送更新,无需重启即可热加载组件,并支持在沙箱中运行插件。 用户可直观观察智能体修改自身源码及用户项目,所有变更在界面即时生效,实现从传统静态界面到动态有机体交互的转变。
苹果在 iOS 27.2 系统中新增“排除 App”设置,位于“Siri”选项中,允许 iPhone 用户控制 Siri 访问应用的权限。 该功能主要限制 Siri AI 个人上下文功能。
ZKStamp 上线浏览器版 AI Agent 钱包,允许用户免安装、免注册获取私有 BitcoinZ 钱包并购买 Hello World 邮票。 流程耗时约 5 分钟,需支付 50 BTCZ 交易费加 1 BTCZ 手续费,等待 1 个 BitcoinZ 区块确认(平均 2.5 分钟)。
该研究构建了一台集成轻量级语言模型与视觉语言模型的自动化评估流水线,用于分析学生报告。在低资源环境下,纯文本评估准确率最高可达 97%,富文本评估最高 94%。 流水线在 105 名学生两份学期数据上验证,性能媲美甚至超越大模型,并支持本地部署。它提供开源解决方案,帮助资源受限的教育机构在不依赖云服务的情况下实现辅助评分。
MedPsy 是专为边缘设备设计的小型医疗 LLM 模型族,包含 1.7B 和 4B 两个版本。 通过合成医疗数据流水线、基于 235B 教师模型的 CoT 目标,以及四阶段后训练策略(两阶段 SFT 和两阶段含难例挖掘的 RL)优化模型。
通过数据驱动方式同时学习动力学、标称控制器及积分控制障碍函数(ICBF),其中障碍物函数基于可行性而非几何特征训练。 在6D动态自行车敏捷赛车测试中,该滤波器以单CPU核心100Hz以上的频率运行,消除了200个保留布局中全部12个不安全片段,且成功率保持不变。 该方法确保了执行器约束的精确性,即使在模型存在较大误差时仍能保持优势。
BitLLM 是一款面向移动 GPU 的低比特 LLM 推理引擎,通过整数原生执行流水线与自适应 KV cache 布局,解决了量化模型中的类型转换和内存访问瓶颈。在现有商用移动 GPU 上测试,其平均速度相比主流引擎提升 1.47 至 1.78 倍,长上下文生成时单 token 能耗降低最多 88.9%。
论文提出基于共享 DQN 策略的 Edge-Intelligent 架构,实现电动汽车在智能城市中的实时充电管理。 在摩洛哥 Rabat 和 Tangier 路网仿真中,DQN agent 相比 Adaptive Heuristic 的充能率提升 6.8% 和交付能量增加 5.4%。
MAPLE 提出一种无梯度的多智能体框架,通过动态分步经验共享与执行时提示词进化,消除盲目试错循环。该框架支持实时交叉参考运行见解,引导智能体沿直接交互路径执行。在 AndroidWorld 和 MobileWorld 基准测试中,MAPLE 在复杂长时程任务上实现最优性能。
系统 Heirloom 可在不保留用户标签数据的情况下,将个人化适配器迁移至新基座模型,在电影标签任务中迁移后准确率与升级前差异不超过 1.7 个百分点。 在手机 NPU 上执行 4B 模型升级的固定长度迁移耗时 38 分钟,全程耗电 20%,适合夜间充电时完成。
论文提出一种将 MXFP4 语言模型权重精确映射为 INT8 操作数的方法,使 4 位权重在仅支持 INT8×INT8 数据通路的硬件(如 Apple M5 神经网络加速器)上执行。
TileWeave 通过异构分块解决移动端 NPU 对规则大 tile 的偏好与 Block-sparse attention 不规则选择的冲突。 它将高共享 key 块分配给 NPU,低重用块由 GPU 处理特定查询,并在骁龙 SM8750/SM8850 上将全模型 prefill 速度较 XAttention 提升 1.35-3.23 倍。
MXCode 提出三种策略,将向量量化压缩与 MicroXcaling FP4 计算结合,实现约 2 bits/weight 权重存储且无需生成高精度中间权重。 在 Qwen3 (235B)、DeepSeek-R1 (671B) 和 GLM-5.2 (753B) 上评估,Qwen3 (235B) 在 GB300 上模型加载内存比原生 FP4 低约 50%,P90 TTFT 最高提升 94.5%。
该论文提出一种结合量化、低秩与稀疏分解的PTQ方法,利用模拟退火优化以补偿量化误差,显著降低大模型部署的内存负担。 实验在Llama 3.2 1B/3B、Llama 3.1 8B及Qwen2.5 7B上验证,使用4-bit NF4和FP4量化器,结果显示该方法在自然语言生成基准上明显优于直接量化,且内存开销极小。
提出结合 GAN 姿态正脸化与忆阻器神经形态识别的非正脸识别框架,在两个数据集上识别准确率最高达 96%。 框架整合轻量化生成对抗网络处理非正脸姿态,利用忆阻器系统实现边缘端高效计算,缓解传统 AI 算力瓶颈。 该方法为动态现实环境(如无人机)提供可扩展、高效的资源受限人脸识别方案。
ActionFlow 框架实现边缘端 OpenVLA-7B 模型推理 2.55 倍 FPS 提升。 该框架通过 Cross-Request Pipelining 调度与 Unified KV Ring Buffer 算子优化硬件利用率。 无需重新训练即可支持 20-30 Hz 控制频率,实现实时动态操作。
PlantVLM-Edge 提出量化视觉语言框架,实现无云连接的边缘设备作物健康诊断。在 NVIDIA Jetson AGX Orin 上部署,4-bit AWQ 量化保留 98.6% 精度并将 2B 模型内存降低 49%。
提出场景自适应读出与解码框架,通过单次骨干网络扫描结合 MoE 加权读出层及自适应策略减少冗余计算。在 Waymo E2E 和 nuScenes 基准上,验证集 RFS 最高提升 0.56,Waymo E2E 端到端加速达 6.0 倍。 该框架利用层特定后期表征支持轨迹读出,并仅在场景需要时应用额外原生细化。代码已开源。