跳到正文
10月7日周三
  1. Google DeepMind82

    EmbeddingGemma 2 发布:端侧开源多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,这是一款基于 Gemma 4 架构、采用 Apache 2.0 许可的 740M 参数开源多模态嵌入模型,支持将文本、图像、音频和视频映射至统一嵌入空间,适用于端侧推理。

    推荐理由:原文给出了EmbeddingGemma 2的架构、MRL优化机制及端侧部署内存细节,为评估其在隐私RAG与跨模态检索中的实际能力提供了可参照的参数基础。

  2. TechCrunch · AI70

    Hark 发布隐私优先的 AI 个人助理 Hark Pro

    Hark 发布 AI 个人助理 Hark Pro,采用针对计算机使用场景训练的专用模型,提供基于聊天、任务提示和可视化面板的全屏操作系统体验。产品基础功能免费,重度使用需订阅;界面会小窗口展示 Agent 网页操作过程以增强信任,并支持接入邮件、日历、硬盘、信用卡等数字生活数据执行任务。

  3. Hacker News AI49

    19岁创业者Ghost融资1100万美元,推$3,499 AI个人电脑Core

    19岁的Ghost创始人Zain Javaid宣布其公司脱离隐身模式,完成1100万美元种子轮融资,并推出售价$3,499的AI个人电脑Core。 Core内置Nvidia RTX Pro 4000 SFF Blackwell GPU,预装Qwen-3.8-Next等三款模型,所有数据本地加密运行。 该设备旨在通过集中式硬件持续运行AI智能体,处理个人任务与记忆。

10月6日周二
  1. IT之家65

    开发者开源 Strata 引擎,12GB 显存显卡可运行 125B Qwen3.8 模型

    开发者 Niko1221 开源推出 Strata 引擎,支持在12GB以上显存的消费级显卡上运行量化的125B参数 Qwen3.8-Flash-Next 模型。该引擎通过将MoE模型载入RAM并仅加载高频专家至VRAM,结合投机解码来降低显存占用并加速推理。测试数据显示,在配备RTX 5070的Windows主机上,Q2_0量化版本可达94词元/秒的生成速度。

  2. arXiv · NLP30

    小模型结合语义搜索实现高效多语言代码定位

    基于 ColGREP 的紧凑本地智能体在 SWE-bench Lite 和 Multi-SWE-bench Flash 任务中,定位准确性优于 GREP 基线。该方案结合加权监督微调与强化学习,训练了三个参数量低于 20 亿的模型族。在 CPU 环境下,端到端延迟降低 44.1%,Token 消耗减少 29.1%,并提升了对未见编程语言的泛化能力。

  3. arXiv · AI22

    面向移动端实时直播聊天翻译的端侧模型实证研究:LiveChatBench 基准与五款设备评测

    一项实证研究针对移动端实时直播聊天翻译,手动构建了包含 1,000 组韩英平行句对的 LiveChatBench 基准,并在五款移动设备上系统评测了主流端侧模型。 研究聚焦端侧模型选型与各模型资源消耗,以及端侧模型在领域适配上的能力与潜力,同时考察了设备 CPU 占用率与发热状况等实际部署因素。 结果表明,将端侧模型适配到专门任务并服务大规模异构用户群时,模型选型与部署约束至关重要。

  4. arXiv · AI41

    OpenPhone:移动端智能体基础模型

    OpenPhone 是一个移动 GUI 智能体系统,通过端云协同兼顾端侧模型的低成本与云端模型的高能力,在 AndroidLab 基准和多种应用上匹配或接近更大模型,同时显著降低云端成本。 该系统基于 Qwen2.5-VL-3B,经合成 GUI 数据的两阶段 SFT->GRPO 训练增强决策能力,并集成高效长推理与记忆管理机制,默认端侧执行,仅将高难度子任务实时评估后升级至云端。

  5. arXiv · AI28

    面向音频深度伪造检测的任务感知联合剪枝与蒸馏框架

    针对现有自监督学习检测器参数超300M导致无法部署于受限设备的问题,研究团队提出一种结合跨域知识蒸馏与运动引导结构化剪枝的任务感知联合框架。 该框架将模型压缩至31.9M参数并实现6.3倍FLOPs降低,在多个数据集上的平均性能下降仅1.30%,显著优于直接适配现有压缩方法的效果。 这一成果展示了该模型在资源受限设备上进行音频深度伪造检测部署的强大学潜力。

  6. arXiv · ML28

    量子数据加载:利用真实信号的学习共享结构

    研究人员提出一种量子原生数据加载器,通过学习数据集的低维共享结构,利用固定电路和少量参数即可准备每个信号。 在五个公开数据集的七种视图测试中,该加载器在与最强结构化加载器相同的门成本下达到同等目标,且每个信号所需的参数数量减少数倍。 该加载器能根据随机子集推断参数,在预注册的盲复现中,所需子集规模在信号增长16倍时保持恒定,而结构化加载器则需要不断增加参数。

  7. arXiv · ML26

    PhaseGate:面向统一内存端侧 LLM 的相位感知 CPU 检索调度

    PhaseGate 提出相位感知 CPU 检索调度,在 M4 系统上四个并发检索 worker 使 LLM 解码 p95 延迟上升 60-61%,预填仅上升 5.7-6.9%。该策略为预填和解码分别设置并发限制(4 和 1),在积压队列下检索吞吐量达到最佳固定策略的 2.0 倍,且 p95 延迟不超过无检索基线的 1.25 倍。该研究已被 NeurIPS 2026 端侧智能研讨会接收。

  8. IT之家27

    开发者 Belmante 原生移植《超级马力欧兄弟:惊奇》至 Windows 平台

    开发者 Belmante 展示《超级马力欧兄弟:惊奇》原生 Windows 移植版,无模拟器下 RTX 3050 笔记本帧率约 60 帧,运行几乎完美。 移植版采用重编译 C++ 代码及 NVN 到 Vulkan 转换层,项目发展得益于 AI 协助,并计划开源私有代码库。 开发者将测试英特尔 UHD 770 核显的最低配置要求,但不提供游戏文件。

  9. IT之家45

    挪威政府拟在部分敏感区域实施人工智能眼镜临时禁令

    挪威政府计划尽快向议会提交草案,临时禁止在公园、海滩、学校等敏感区域使用人工智能眼镜,并设立专家咨询机构为后续永久性立法做准备。 政府将评估禁令适用的设备范围,研究是否将其扩展至高等院校及其他教育机构,并开展深入调查以奠定长效监管基础。 部长表示此举旨在解决人们对被秘密录音、拍照或录像的担忧,防止因缺乏安全感导致社会疏离。

  10. Hacker News LLM66

    SimulKit:苹果设备本地运行开源大语言模型的速度与内存估算工具

    SimulKit 是一个用于估算苹果设备上运行开源大语言模型性能的工具,用户可以选择具体的 Mac 型号和模型,工具会根据已发布的基准测试数据计算内存占用和每秒生成的 token 数量。例如,在配备 M5 Pro 芯片、48 GB 统一内存的 MacBook Pro 上,以 4 位量化运行 26B 参数的 Gemma 4 模型需要约 17 GB 内存,预计生成速度为 54 tokens/s。

  11. Simon Willison20

    Qwen3.8-27B 禁用推理时数字加法准确率仅23.57%

    Qwen3.8-27B 在禁用推理模式下对 5070 个用例的数字加法准确率为 23.57%。 实验在 DGX Spark 本地硬件上进行,1 至 3 位数加数准确率达 97.04%,而 10 至 13 位数准确率骤降至 6.44%。 启用中等推理模式后,169 个对比用例中 167 次回答正确,显示推理功能显著提升了大数计算性能。

10月5日周一
  1. The Verge · AI46

    开源工具 RemoveMacAI 可删除 macOS 上 12GB 的 Apple Intelligence 数据

    开源命令行工具 RemoveMacAI 能关闭 Apple Intelligence 功能、删除占用约 12GB 空间的模型,并阻止其再次下载。 macOS 27 移除旧版单一设置开关后,用户需手动调整十余项设置且模型仍留存磁盘;该工具可一键完成操作,且变更在系统更新后依然有效,Dictation 功能不受影响,支持通过 revert 命令恢复设置。

  2. arXiv · ML22

    Llama-Mobile:视觉语言模型 2.7 比特量化框架

    Llama-Mobile 提出了一个视觉语言模型量化框架,采用 2.7 比特每参数格式以支持 Arm CPU 上的高效推理。 该框架利用模型自身生成训练数据,无需访问原始训练设置。Llama 3.2 11B Vision Instruct 模型被压缩至 3.7 GB,在保持标准视觉问答任务性能的同时实现了内存优化。

  3. arXiv · ML23

    SpAx 通过权重近似提升 LLM 离线解码速度

    SpAx 利用激活稀疏性与权重近似技术加速大语言模型离线解码。该方法在权重卸载至 CPU 内存时,16 位权重平均提速 3.86 倍,4 位权重平均提速 2.06 倍,WikiText-2 困惑度增加不超过 10%。在闪存存储场景下,16 位权重平均提速 3.31 倍,4 位权重平均提速 1.54 倍。

  4. IT之家33

    微软详解 Win11 为何降低 RAM 占用

    微软 Windows 负责人帕万·达鲁里确认,因内存成本上涨,降低 Windows 11 内存占用是 2026 年剩余时间的工作重点。 团队正通过改进内存管理器、采用更高效分配器及优化 WinUI 3 和 Chromium 组件,从系统底层及应用框架层面减少消耗。

  5. Hacker News AI32

    RemoveMacAI 移除 macOS 27 中的 Apple Intelligence 模型并释放磁盘空间

    RemoveMacAI 是一款针对 Apple Silicon 用户的工具,用于关闭 macOS 27 中的 Apple Intelligence 功能并删除已下载的模型,防止系统重新下载以释放磁盘空间。 该工具通过配置配置文件强制应用 Apple 的限制键来终止 Siri、写作工具、Genmoji 及 Xcode 代码补全等功能,支持 `removemacai revert` 命令恢复所有更改。

10月4日周日
  1. R/ArtificialInteligence26

    本地模型安装器:为 Muse 打造

    开发者发布了一个可一键粘贴使用的本地模型安装器,旨在避免浪费 tokens 并解决手动安装易出错的问题。该工具专为 Muse 设计,同时兼容多种模型,并通过 Hermes 实现了 PC 端 agent 安装部分。