arXiv · ML· Ruijia Yang, Shiyuan Lin, Chengxi Liao, Zeyi Wen·· 10 天前AI 评分24
OOM:通过内存-执行协同设计实现全参数 MoE 训练离载优化
OOM: Offload-Optimized Full-Parameter MoE Training via Memory-Execution Co-Design
AI 导读
OOM 系统通过协同设计专家执行与内存分配,实现全参数 MoE 模型在单节点上的高效离载训练。 在 4 张 H100 上支持 1M token 上下文训练 122B 参数模型,而 FSDP2 等系统在 512K token 时即耗尽显存。 相比 CPU 离载 FSDP2,OOM 吞吐量提升 1.58 至 4.08 倍,且主机内存占用最少仅为 FSDP2 的 1/3。
来源:arXiv · ML · arxiv.org