arXiv · ML· Tao Huang, Chen Zhu, Antonio Alonso, Daming Li, Adarsh Goura, Jaideep Ray, Yitong Zhou·· 2026-10-16AI 评分30
BCL 实现无协调分布式训练负载正则化
Coordination-Free Workload Regularization for Variable-Cost Distributed Training
AI 导读
提出无协调数据加载策略 BCL,通过重划分固定基数包平衡批次成本,最高降低 82.8% 的批成本变异。 在 13 个语料库及 8 块 H200 GPU 测试中,BCL 比 MFFD 快 1.05 至 1.167 倍,编译后速度提升 1.197 至 1.343 倍。 结果证明可在数据加载边界消除显著变量成本不均衡,无需运行时修改或跨 rank 元数据交换。
来源:arXiv · ML · arxiv.org