小规模实验：我们还没达成规模化定律的承诺吗？

小规模实验因超参数敏感性而难以体现规模化定律，研究指出这种敏感性随模型规模增加而减弱。 消融实验表明，精准调优的超参数比缩放定律其他成分更重要；超参数损失面维度随规模增大而降低，使最优配置更易寻找。 该方法已成功复现大尺度结论：在 Transformer 架构中，预归一化（pre-normalization）随模型变大表现更优。