ID Balancing 控制器提出
热点事件持续更新
ID Balancing 控制器提出
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
arXiv 研究者团队提出 ID Balancing，这是一种基于积分-微分控制器的负载均衡方法，用于解决混合专家（MoE）模型中的路由不平衡问题。该方法整合了 DeepSeek 的无损失方法和 Kimi K3 的分位数平衡方法，通过控制理论视角改进稀疏 MoE 的稳定训练。实验在 768 个专家上评估了 Top-10、Top-5 和 Top-3 路由设置。结果显示，在 Top-3 设置下，ID Balancing 将最坏情况骨干 MaxVio 降低超过 50%，将训练平均 MinVio 降低超过 12%。当总参数量从 18.9B 增加到 69.9B（Top-10-of-768）时，最坏情况 MaxVio 保持稳定，且比辅助损失基线低约 89.6%。
AI 根据报道生成 · 56 分钟前更新
最新进展10月20日 12:00
通过PID负载均衡实现极度稀疏MoE模型稳定训练报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · ML通过PID负载均衡实现极度稀疏MoE模型稳定训练
ID Balancing是一种基于积分-微分控制器的负载均衡方法，用于解决大语言模型中混合专家（MoE）路由不平衡问题。 该方法整合了DeepSeek的无损失方法和Kimi K3的分位数平衡方法。 实验显示，在Top-3路由设置下，ID Balancing将最坏情况骨干MaxVio降低超过50%，最坏情况骨干MaxVio在总参数量从18.9B增加到69.9B时保持稳定。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。