arXiv · AI· Avni Mittal, Avinash Anand, Ashutosh Kumar, Dikshant Kukreja, Kritarth Prasad, Chaitanya Lakhchaura, Rishitej Reddy Vyalla, Erik Cambria, Zhengkui Wang, Rajiv Ratn Shah·· 8 小时前AI 评分20
Sonar-MoE：用于内存高效混合专家训练的逆向过程专家更新
Sonar-MoE: In-Backward Expert Updates for Memory-Efficient Mixture-of-Experts Training
AI 导读
Sonar-MoE通过逆向过程即时释放专家梯度，使混合专家模型训练峰值内存降低19%至22%。 其更新结果与标准训练在比特级上完全一致，留出集损失偏差在0.003以内，且每步训练时间减少17%至23%。
来源：arXiv · AI · arxiv.org