Meta 发布开源多模态模型 Muse Glimmer:30B 参数,支持本地智能体应用
Meta 发布开源多模态模型 Muse Glimmer,模型为 30B 参数,基于 Muse 蒸馏而来,采用 Apache 2.0 许可,专为本地智能体应用场景设计。
推荐理由:文章展示了Muse Glimmer在本地部署场景下的自优化演示,为隐私敏感应用提供了低成本运行方案。
Meta 发布开源多模态模型 Muse Glimmer,模型为 30B 参数,基于 Muse 蒸馏而来,采用 Apache 2.0 许可,专为本地智能体应用场景设计。
推荐理由:文章展示了Muse Glimmer在本地部署场景下的自优化演示,为隐私敏感应用提供了低成本运行方案。
RunningHub 正式接入 Seedance 2.5,该模型支持 30 秒原生视频生成及最多 50 个多模态参考输入。平台推出限时会员活动,480P 视频生成价格低至 0.21 元/秒,720P 视频为 0.49 元/秒。运行 Hub 旗下 rhTV、RHSTORY 等工具已全面适配,通过时间戳控制和分镜模式提升视频创作的可控性与叙事逻辑。
第二届 NVIDIA DGX Spark 黑客松正式收官,由 NVIDIA 与 StepFun 阶跃星辰联合举办。赛事主题为「让 Agent 创作一切」,共有 112 支团队报名,2122 位开发者参与。上海松江举办的总决赛中,基于 DGX Spark 与 Step 系列模型的三个项目在 Agent 创作、推理框架及端侧机器人领域脱颖而出。
阶跃终端品牌暨新一代智能体战略发布会发布了智能体原生操作系统 Step AOS、基于其打造的智能体阶跃 Amoo,以及大模型原生 AI 终端品牌 STEPX。大模型原生智能体手机 STEPX Neo 同场亮相,展示了阶跃在智能体终端领域的最新布局。
阶跃星辰发布面向手机、汽车等终端的端侧模型家族 Step Edge,包含基础模型、Audio、GUI 和 Gen 四个模块,并配套自研 Step Inference NPU 引擎进行推理优化。该模型家族支持低至 0.1 秒的端侧 toolcall 执行,实现多模态数据本地处理,宣称在 29 项核心评测指标中取得第一,旨在通过端云协同平衡响应速度、能力与成本。
推荐理由:展示了端侧模型在0.1秒toolcall延迟与全模态隐私保护上的落地能力,并给出29项核心指标领先的对比依据。
Google 发布 EmbeddingGemma,这是一个 308M 参数、支持 100 多种语言的端侧嵌入模型。该模型在 MTEB 多语言基准测试中表现领先,且量化后内存占用低于 200MB。它兼容 Sentence Transformers、LangChain 等主流框架,并支持在浏览器或本地环境中部署,便于构建移动设备上的检索增强生成(RAG)和智能体应用。
推荐理由:EmbeddingGemma 在 308M 参数和 2K 上下文窗口下支持 100 余种语言,为端侧 RAG 和 Agent 场景提供了轻量化嵌入方案。
NVIDIA 发布 9B 参数的 Nemotron Nano 2,采用 Transformer–Mamba 混合架构,端侧部署最高 6 倍 token 生成速度,支持配置 thinking budget,推理成本最多降低 60%。
Arm 宣布在即将发布的 ExecuTorch 0.7 beta 版本中默认启用 KleidiAI,利用 Arm SDOT 指令优化 Int4 矩阵乘法,使 Llama 3.2 1B 等模型能在 72% 的 Arm 设备(包括 Raspberry Pi 5 和 3-5 年前的手机)上高效运行生成式 AI 任务。
Arm 发布基于机器学习的 Neural Super Sampling (NSS) 实时超采样模型,面向移动端图形与游戏开发。该模型专为 Arm Neural Accelerators (NX) 优化,能以更低计算成本重建高分辨率画面;在 Enchanted Castle 演示中,540p 渲染至 1080p 仅需 4ms 并降低 50% 的 GPU 负载。
推荐理由:Arm 开源 NSS 模型在 4ms 内将 540p 实时超采样至 1080p,并给出移动端适配路径与 Unreal 插件,帮助团队直接评估低算力游戏渲染效果。
Gemma 3n 正式发布,支持本地运行多模态输入。该模型分为 E2B 和 E4B 两个版本,实际参数为 5B 和 8B,但显存占用仅相当于 2B 和 4B 模型,分别只需 2GB 和 3GB 显存。
推荐理由:Gemma 3n 以 2B/4B 显存实现 5B/8B 性能,支持文本、图像、音频和视频多模态输入,并开放主流开源框架支持。
该教程指导用户利用 React Native 和 llama.cpp 的绑定(llama.rn)构建移动应用,以在本地运行 LLM。推荐使用 1-3B 参数量的模型(如 SmolLM2-1.7B-Instruct 或 Llama-3.2-1B-Instruct)并采用 Q4_0 或 K-Quants 等量化格式,以确保在移动端设备上的流畅运行和隐私保护。
Hugging Face 发布 SmolVLM2 多模态模型家族,包含 2.2B、500M 和 256M 三个尺寸,用于视频理解任务。2.2B 模型在 Video-MME 基准上超过现有 2B 级别模型;500M 版本支持在 iPhone 本地运行;所有模型均可通过 Transformers 和 MLX 框架进行推理和微调。
推荐理由:SmolVLM2 提供 2.2B、500M 和 256M 三种尺寸视频模型并支持端侧运行,读者可按设备内存直接评估部署门槛。
Hugging Face 发布在 Intel Meteor Lake 笔记本上运行 Phi-2 的方案,使用 Intel OpenVINO 和 Optimum Intel 对 microsoft/phi-2 做4-bit 权重量化,再运行在搭载 Core Ultra 7 155H 的中端笔记本上。
Hugging Face 推出 @gradio/lite 库,利用 Pyodide 将 Gradio 应用直接运行在浏览器中,无需服务器基础设施。开发者可用 Python 编写应用,支持通过 micropip 安装 transformers_js_py 等依赖,并可在 Hugging Face Static Space 免费托管。
Hugging Face 发布名为 Swift Transformers 的 Swift 包和配套工具链,支持在 Apple 设备本地运行 Llama 2、Falcon 等 LLM。工具包含 swift-transformers 库、swift-chat 示例 App、以及更新后的 exporters 和 transformers-to-coreml 转换工具。
教程演示如何使用 Transformers.js 在浏览器中完全本地运行 ML 网页游戏 Doodle Dash。该游戏基于 Google Quick, Draw! 数据集微调了 5.6M 参数的 apple/mobilevit-small 模型,通过 Web Workers 实现每秒 60 次以上的实时推理预测。
Intel 与 Hugging Face 合作展示 Q8-Chat,利用 SmoothQuant 技术将 LLM 量化为 8 位整数,在 Intel Xeon CPU 上实现高效推理。 该方案使模型体积缩小约 2 倍,显著降低推理延迟,MPT-7B-chat 模型在 32 核 CPU 上即可实现实时文本生成。 这为组织提供了比高端 GPU 更具成本效益的 LLM 部署选项,提升了 IT 灵活性。
Hugging Face 发布了 Swift 编写的 Mac 原生应用 Diffusers,可将社区文本生成图像模型转换为 Core ML 格式,利用 GPU 或 Neural Engine 实现本地生图。最新 1.1 版本在 Mac App Store 上线,性能较前版显著提升且生成速度最高可达两倍。
Hugging Face 将 Stable Diffusion 转换为 Core ML 模型并开放在 Hugging Face Hub,支持 v1.4、v1.5、v2 base 和 v2.1 base,可运行在 CPU、GPU 和 Apple Neural Engine 上。
Hugging Face 发布 pytorch_block_sparse 扩展,提供 BlockSparseLinear 模块以支持块稀疏矩阵计算,使神经网络更小更快。