arXiv · ML· Peng Jin, Zihan Qiu, Zekun Wang, Bo Zheng, Yang Xu, Tian Xie, Xiao Li, Huaqing Zhang, Haoran Lian, Rui Men, Dayiheng Liu·· 9 小时前AI 评分39
通过PID负载均衡实现极度稀疏MoE模型稳定训练
ID Balancing: Stable Training of Extremely Sparse MoE via PID-Based Load Control
AI 导读
ID Balancing是一种基于积分-微分控制器的负载均衡方法，用于解决大语言模型中混合专家（MoE）路由不平衡问题。 该方法整合了DeepSeek的无损失方法和Kimi K3的分位数平衡方法。 实验显示，在Top-3路由设置下，ID Balancing将最坏情况骨干MaxVio降低超过50%，最坏情况骨干MaxVio在总参数量从18.9B增加到69.9B时保持稳定。
来源：arXiv · ML · arxiv.org