arXiv · AI· Harish Santhanalakshmi Ganesan, Hariharan M. S., Prabhurajhan R·· 24 天前AI 评分31
HobbyLM:低成本构建稀疏混合专家(MoE)模型家族
HobbyLM: A Sparse Mixture-of-Experts Model Family on a Hobby Budget
AI 导读
HobbyLM 是一个由多名作者在数百至数千美元预算内训练的稀疏 MoE 小模型家族,核心包括 500M 参数架构(169M 激活)与 333M 参数的图像生成模型。模型采用细粒度专家与辅助损失自由的负载均衡,支持多模态推理;HobbyLM-1B 在 7 项基准测试中平均得分 47.5。该系列在笔记本电脑 CPU 上通过自研 Rust 引擎运行,展示了低成本 AI 模型的可行性。
来源:arXiv · AI · arxiv.org