arXiv · ML· Arnav Kundu, Zhaoyang Xu, Bairu Hou, Chang Gao, Reed Li, Tao Lei·· 2026-10-07AI 评分35
Apple 提出 Stepped MoE:支持 1B-4B 参数动态切换的端侧 LLM 架构
Stepped MoE: Segment-Level Routing with Configurable Inference Complexity
AI 导读
Apple 提出 Stepped MoE 框架,结合弹性结构与稀疏门控架构,允许单模型在 1B 至 4B 参数量间灵活切换。 该模型在知识密集型基准上比对应稠密模型准确率高 2-5%,且推理延迟与稠密模型相当,通过共享参数节省端侧存储空间。
来源:arXiv · ML · arxiv.org