arXiv · NLP· Jinbo Wang, Mingze Wang, Zhanpeng Zhou, Junchi Yan, Weinan E, Lei Wu·· 3 天前AI 评分28
Transformer 中的 Sharpness Disparity 原理:加速大语言模型预训练
The Sharpness Disparity Principle in Transformers for Accelerating Language Model Pre-Training
AI 导读
研究发现 Transformer 不同模块间存在持续的 Sharpness Disparity,据此提出 Blockwise Learning Rate 策略以加速 LLM 预训练。
来源:arXiv · NLP · arxiv.org