MoLS：基于SNR引导的模块级学习率校准用于大型语言模型

针对大型语言模型中不同功能模块梯度统计异质性问题，MoLS 提出一种轻量级校准方法。 该方法在初始适应期估算模块级信噪比（SNR），并利用平方根倒数缩放确定相对学习率乘数，替代昂贵的手动调参。 MoLS 在预训练与微调实验中降低了困惑度，提升了下游准确率，且计算开销极小，可与内存高效优化器集成。