arXiv · ML· Eugene Belilovsky, Stefan Horoi, Edouard Oyallon, Benjamin Th\'erien·· 2026-10-15AI 评分33
内部优化器如何塑造副本扩展:白化预调优的作用
How Inner Optimizers Shape Replica Scaling
AI 导读
研究发现白化预调优是提升分布式 LLM 训练中内部优化器副本扩展性能的关键特性。 基于伪梯度协方差结构和批大小对噪声影响两因素,理论及实证证实 8-96 副本规模下白化内部优化器优于 DP。 随着参数和数据扩展,其相对性能优势持续增强,为高并发 LLM 训练提供有效指导。
来源:arXiv · ML · arxiv.org