arXiv · AI· Jiaming Hu, Zhida Jiang, Zhaolong Xing, Yu Li, Zhen Chen, Ke Zhang·· 9 小时前AI 评分39
LRMoE：内存受限节点上高效 MoE 训练的内存感知系统
LRMoE: Demand-Side Load Re-Calibration for Efficient MoE Training on Memory-Constrained Nodes
AI 导读
LRMoE 提出内存感知的 MoE 训练系统，通过联合校准反向需求与平衡保留工作负载，在内存受限节点上实现高效训练。 在 Qwen3-30B-A3B 和 GLM4.5-106B-A12B 模型上实验表明，该方案使累积 MoE 层达到固定损失目标的训练时间较 SYMI 减少 21.2%-44.8%。
来源：arXiv · AI · arxiv.org