跳到正文
智东西· 程茜·· 6 天前同新闻AI 评分88

面壁智能发布MiniCPM-V4.7系列模型:35B端侧版本仅3GB内存即可运行

你的手机能跑35B大模型了!只要3GB内存,还无损

AI 导读

面壁智能发布新一代端侧多模态大模型系列MiniCPM-V4.7,包含35B-A3B与1B两个版本。35B-A3B是MiniCPM-V系列首款MoE模型,总参数350亿、每次推理仅激活30亿,仅约3GB内存即可在iPhone 17 Pro Max上实现超13 tokens/s的解码速度,在iPad Pro上解码速度超15 tokens/s。

同一新闻,精选展示《面壁智能开源 MiniCPM-V 4.7:350 亿参数 MoE 端侧多模态新上限》

来源:智东西 · mp.weixin.qq.com