跳到正文
机器之心·· 5 小时前AI 评分61

SC26 论文:八卦炉 2 解决 MoE 万卡集群训练的显存尖峰问题

SC26 顶会论文:八卦炉 2—— 让万卡集群学会临场应变

AI 导读

清华大学翟季冬教授团队发布八卦炉 2(BaGuaLu-2),通过运行时自适应机制解决 MoE 模型在万卡集群训练中因显存尖峰导致的 OOM 问题,论文已被 SC26 录用。

来源:机器之心 · mp.weixin.qq.com