跳到正文
arXiv · NLP· Jinbo Wang, Binghui Li, Zhanpeng Zhou, Mingze Wang, Yuxuan Sun, Jiaqi Zhang, Xunliang Cai, Lei Wu·· 3 天前AI 评分31

基于功能标度律的最优批大小调度分析

Fast Catch-Up, Late Switching: Optimal Batch Size Scheduling via Functional Scaling Laws

AI 导读

功能标度律(FSL)揭示了最优批大小调度(BSS)结构依赖任务难度:易任务全程增批,难任务则后期切换大批。 该机制源于“快速追赶效应”,即小批切大批后梯度噪声快速遗忘,使损失迅速对齐;难任务可延后大批使用以显著降低数据消耗。 在1.1B参数和1T token的Dense及MoE LLM预实验中,后期切换调度持续优于固定或早期切换基线。

来源:arXiv · NLP · arxiv.org