面壁智能·· 6 天前精选AI 评分82
面壁智能开源 MiniCPM-V 4.7:350 亿参数 MoE 端侧多模态新上限
端侧多模态新上限,350 亿参数 MoE 手机平板 3GB 内存畅跑,MiniCPM-V 4.7正式开源
AI 导读
面壁智能联合 OpenBMB 社区正式发布并开源端侧多模态模型 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本。其中 35B-A3B 是全球首个可在端侧无损流畅运行的开源 MoE 多模态模型,在约 3GB 内存的 iPhone 17 Pro Max 上实现每秒 13+ token 的生成速度。
推荐理由
原文披露了 35B 参数 MoE 模型在 3GB 内存端侧运行的具体性能数据与 LES 调度技术细节。
来源:面壁智能 · mp.weixin.qq.com