MoLS模块级学习率校准方法发布

2026年10月26日，arXiv上线论文《MoLS：基于SNR引导的模块级学习率校准用于大型语言模型》。 该研究由Ziqing Wen等人提出，旨在解决大模型不同功能模块间梯度统计异质性问题。MoLS方法轻量级，在初始适应期估算模块级信噪比（SNR）。 其核心是利用SNR的平方根倒数缩放确定相对学习率乘数，以此替代昂贵的手动调参过程。实验显示该方法可降低困惑度并提升下游准确率。 此外，MoLS计算开销极小，且具备与内存高效优化器集成的能力，已在预训练与微调实验中验证了有效性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。