跳到正文
arXiv · ML· Shuchen Zhu, Rizhen Hu, Mingze Wang, Mou Sun, Xue Wang, Kun Yuan, Zaiwen Wen·· 24 天前AI 评分23

LITE 加速 LLM 预训练:平直方向动力学增强

Accelerating LLM Pre-Training through Flat-Direction Dynamics Enhancement

AI 导读

论文提出 LITE 策略,通过增强平直轨迹上的 Hessian 阻尼系数和学习率加速 Muon 和 SOAP 优化器。 实验覆盖 130M 至 1.3B 参数规模的 Dense 和 MoE 架构,在 C4 和 Pile 数据集上显著提升了训练效率。 LITE 被 NeurIPS 2026 接收,代码已公开,为 LLM 预训练提供高效优化方案。

来源:arXiv · ML · arxiv.org