跳到正文
arXiv · NLP· Jinbo Wang, Mingze Wang, Zhanpeng Zhou, Junchi Yan, Weinan E, Lei Wu·· 3 天前AI 评分28

Transformer 中的 Sharpness Disparity 原理:加速大语言模型预训练

The Sharpness Disparity Principle in Transformers for Accelerating Language Model Pre-Training

AI 导读

研究发现 Transformer 不同模块间存在持续的 Sharpness Disparity,据此提出 Blockwise Learning Rate 策略以加速 LLM 预训练。

来源:arXiv · NLP · arxiv.org