arXiv · ML· Yikun Hou, Alp Yurtsever·· 11 天前AI 评分24
MoE 负载均衡重塑为反馈控制:PID-Balancer 在 OLMoE 上的应用
Rethinking MoE Load Balancing as Feedback Control
AI 导读
研究将 MoE 负载均衡重构为反馈控制问题,提出 PID-Balancer 控制器家族。 针对非平稳数据场景,纯积分型 PID (I) 控制器在 OLMoE 骨干模型及 OLMoE-1B-7B 持续预训练中表现优于现有方法。 在保持平衡性和困惑度相当的前提下,该策略在数据分布切换后能更紧密地恢复专家负载均衡。
来源:arXiv · ML · arxiv.org