跳到正文

技术方向

端侧 AI 最新动态

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

73 条精选近 30 天 29 条共收录 1,220 条

更新

端侧 AI的精选

11月19日周四第 1–20 条
  1. Hacker News AI85

    Architect Labs发布Frostbite:AI自主设计并验证的通用CPU架构

    Architect Labs发布基于AI自主设计与验证的通用CPU架构Frostbite。其基于interaction nets,在7nm工艺下,对比同面积传统超标量CPU实现4.59x perf/W。团队计划后续开放RTL与ISA,并搭建FPGA软件运行环境。

    推荐理由:原文展示了AI自主设计通用CPU的完整闭环,提供了4.59倍能效对比基准和后续开放计划。

11月18日周三
  1. NVIDIA Blog66

    NVIDIA 发布 RTX Spark 紧凑型桌面 AI 设备

    NVIDIA 发布 RTX Spark 紧凑型桌面设备,支持本地 AI 智能体、图像视频生成和模型微调。设备搭载 NVIDIA Grace CPU、Blackwell RTX GPU 和最高 128GB 统一内存,提供 1 petaflop 算力。NVIDIA 同步扩展软件生态,支持 Adobe 创意应用、Blender 5.3 和 ComfyUI。

    推荐理由:官方给出了紧凑型桌面本地 AI 硬件的规格和配套生态入口,读者可以据此判断它如何影响现有创意与开发工作流。

  2. IT之家80

    腾讯混元 Hy4 flash 模型开源

    腾讯混元 Hy4 flash 模型已正式开源,开发者可在 GitHub、Hugging Face、ModelScope 和 GitCode 下载部署。该模型总参数量为 224B,每个 token 激活 12B 参数,支持多模态输入与 100 万 token 上下文,目前已在腾讯云 TokenHub、元宝、企业微信等产品上线。

    推荐理由:明确了腾讯混元Hy4 flash的开源地址、224B总参数、12B激活参数、多模态与100万上下文长度。

11月17日周二
  1. arXiv · NLP67

    Nemotron 3.5 Bolt E4B 4GB:面向快速对话智能体的开放高效小语言模型

    NVIDIA 发布了 Nemotron 3.5 Bolt E4B 4GB,这是一个基于 Gemma-4-E4B-it 后训练优化的开放高效小语言模型,专为快速本地语音助手、交互角色及嵌入式端侧场景设计。

    推荐理由:展示了该小模型在21项基准中取得最高平均准确率及最低输出token数,并量化了推理加速指标。

11月16日周一
  1. Hacker News LLM82

    通过修改 LLM 输出层单行权重停止过度思考

    作者通过修改 </think> 行的输出层权重,在免训练条件下让模型根据隐藏状态判断何时停止思考。在 Qwen3.5-4B 上,该方法在保持准确率的同时减少 54% 的 token 用量;在 DeepSeek V4.1 Flash 763B 上,解决数学题的 token 用量降低 40%,且代理任务的盲评得分最高。

    推荐理由:提供免训练的单行权重修改方法,读者可复用在本地模型以缩短思考时间并节省token。

11月15日周日
  1. Hacker News AI78

    FlashVMM 发布:毫秒级启动 MicroVM 以隔离 AI Agent

    FlashVMM 发布跨平台 AI 代理沙箱工具,利用自研 FlashVM 微虚拟机在 18 毫秒内启动并隔离代理任务,确保代码执行不触碰主机。该工具支持 macOS、Windows 及 Linux,提供 CLI、HTTP API 及 MCP 接口,允许用户通过命令限制 CPU、内存、磁盘及网络访问,并支持 GPU 资源池化与快照恢复,实现代理运行的安全隔离与资源控制。

    推荐理由:FlashVMM 通过微虚拟机隔离 AI 代理执行环境,解决了本地运行代码时的安全风险与资源限制问题。

11月13日周五
11月11日周三
  1. Hugging Face Blog68

    Tether AI 发布 BotPsy:0.8B 参数端侧智能体模型

    Tether AI 发布 BotPsy,一款基于 Qwen3.5-0.8B 构建的 0.8B 参数端侧智能体模型,采用 Apache 2.0 协议开源。通过在 BFCL v4 等六项工具调用基准上取得领先成绩(平均 45.0 分),并在推理 token 效率上较基座模型提升约 3 倍,该模型在低中难度任务场景中展现出优于 1.2B 以下规模模型的表现力。

    推荐理由:0.8B 端侧模型通过蒸馏与两轮 RL 训练,在工具调用和多轮 Agent 基准上超越 2.5 倍参数量的模型,展示了小参数智能体路径。

11月9日周一
  1. Hacker News AI79

    Meta 发布 Muse Charm 智能体设备,Zuckerberg 宣布转向个人超级智能

    Meta 在 Meta Connect 大会上发布了名为 Muse Charm 的口袋设备,允许用户通过点击硬件直接访问 Muse AI 智能体。Zuckerberg 表示公司战略已从元宇宙转向构建个人超级智能设备,认为后者具有更紧迫和重大的意义。

    推荐理由:原文展示了 Meta 如何将 Muse AI 智能体从软件层拓展至专用硬件,并借此回应市场对其硬件潜力的质疑。

11月7日周六
  1. 量子位68

    魔芯科技发布MoWorld 2.0:十余种物理要素融入世界模型

    魔芯科技发布MoWorld 2.0,将重力、弹力、光照等十余种物理要素融入模型,并输出为3D/4D高斯资产。其在华为昇腾NPU上的实时视频推理速度推至70 FPS,推理成本最低为同规模GPU方案的30%,并已进入手机端侧设备。

    推荐理由:原文给出了物理建模和性能指标,读者可以据此判断世界模型如何进入下游任务。

11月5日周四
  1. Hugging Face Blog69

    Gradium 端侧语音模型 Phonon 开源,性能与速度领跑 Hugging Face Open TTS Leaderboard

    Gradium 于两周前推出并开源了小型端侧文本转语音模型 Phonon,该模型无需服务器与网络即可运行。目前 Phonon 提供约 65 MB 和 75 MB 两种尺寸,支持英、法、德、西、葡五种语言,并内置 100 多种预设音色。

    推荐理由:展示了高性能TTS模型在端侧落地时的架构平衡策略,以及通过多语言支持与流式响应技术实现的质量跃升。

  2. Hugging Face Blog70

    Dharma-AI 发布 Dharma Field Extractor:2B 参数文档字段抽取模型

    Dharma-AI 发布 Dharma Field Extractor,这是一个 2B 参数文档字段抽取模型,能从任意文档类型提取指定字段并输出结构化 JSON,其性能在测试中优于所有前沿 LLM,且成本大幅降低。该模型基于 DharmaOCR-LITE v1.1,通过 43,384 个训练样本上的 LoRA 适配器微调,支持开放式(无 schema)和 Schema 导向两种请求模式。

    推荐理由:Dharma-AI 在官方开源平台上发布了 2B 参数字段抽取模型,给出了相对前沿大模型的 F1 差距和自托管成本区间。

11月2日周一
  1. 机器之心80

    DiffuSpace开源Clover 35B扩散语言模型,性能媲美自回归模型

    DiffuSpace 发布开源扩散语言模型 Clover-35B-A3B-Preview,在 SWE-bench Verified 等智能体编程评测中达到或超过同规模自回归模型,同时实现 680 tokens/s 的更快生成速度。模型通过引入块扩散与双向 GDN 架构解决历史记忆复用问题,并已在 16GB 显存设备上实现 INT4 量化部署。

    推荐理由:作为首个在Agent任务上超过同规模自回归模型的开源扩散语言模型,Clover 35B证明了并行生成速度与高性能可以共存。

  2. 量子位79

    小米开源AI硬件HachimoDock

    小米开源AI硬件HachimoDock,硬件自制成本约150元,集成个性化桌宠、语音操控Agent、智能家居联动与自定义组件创作功能。该软件源码已在GitHub公开,用户可复刻并基于此进行二次开发。

    推荐理由:小米以约150元硬件成本开源HachimoDock,展示语音指挥Agent与智能家居联动能力,为低成本AI硬件创作提供可复刻方案。

10月30日周五
  1. 36氪84

    苹果发布首款触屏 MacBook Pro:M5 芯片 + PROLED XDR 屏

    苹果推出首款触屏 MacBook Pro,搭载 M5 Pro/Max、双层 OLED 屏幕与 128GB 统一内存,支持离线跑千亿参数大模型。其首字响应速度较 M1 机型提升 12 倍,机身减重至 1.82 千克。国行 14 英寸售价 22,999 元起,顶配总价达 11.26 万元。

    推荐理由:触屏、灵动岛与高性能本地算力结合,为重度创作者和端侧模型用户提供一台可离线处理任务的终端。

10月29日周四
  1. 量子位76

    天数智芯发布天垓300与彤央TY1200并现场实测跑赢英伟达H200及Thor T5000

    天数智芯发布天垓300、彤央TY1200及天数智算软件栈。现场实测显示,天垓300在文生图任务上耗时95.6秒快于H200的112秒;彤央TY1200在断网端侧环境下,运行Qwen3.8-27B的性能达到Thor T5000的138%,并成功运行MicroDuck仿真任务。

    推荐理由:实测数据对比了天垓300与H200、彤央TY1200与Thor T5000的性能差异,展示了国产芯片在云边两端的落地能力。

10月28日周三
  1. NVIDIA Blog76

    NVIDIA 开源多语种语音转录模型 Nemotron 3.5 Transcribe

    NVIDIA 今天推出开源权重语音模型 Nemotron 3.5 Transcribe,单个模型即可处理转录、说话人识别和翻译,支持 40 种语言。该模型在 Hugging Face 开放 ASR 榜单排名 No.1,采用约 43 亿活跃参数,比当前排名第一的开源权重模型参数少约 80%。

    推荐理由:NVIDIA开源语音模型Nemotron 3.5 Transcribe一次完成转录、说话人分离和翻译,用本地设备即可完成多语种音频信息提取。