面壁智能· MiniCPM-V 团队·· 10 小时前精选AI 评分90
面壁智能开源前瞻专家调度(LES)推理技术,实现35B MoE手机实时运行
面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术
AI 导读
MiniCPM-V 团队开源了前瞻专家调度(LES)技术,首次实现35B-A3B规模MoE模型在iPhone 18 Pro Max上以超过20 token/s速度实时无损运行。该系统通过预测下一层专家提前加载权重、优化存储布局与混合精度量化、结合DSpark批量验证,在M4 iPad上以3GB内存配置实现了9.6 token/s的解码速度,相关代码已在GitHub开源。
推荐理由
原文给出了调度、存储和计算三层系统的具体设计,读者可以据此理解35B MoE模型如何在不增加训练成本的情况下实现端侧实时运行。
来源:面壁智能 · mp.weixin.qq.com