arXiv · ML· Yuhang Cai, Haodong Wen, Haofeng Huang, Deyi Liu, Yiyuan Ma, Kaifeng Lyu·· 5 小时前AI 评分30
787M 参数量 LLM 预训练中边缘稳定性与凸性边缘现象研究
Does LLM Pre-Training Typically Occur at the Edge of Stability?
AI 导读
研究发现在直至 787M 参数量级的 LLM 预训练中，始终观察到导致二次近似发散但真实动态稳定的“凸性边缘”（EoC）现象。 在移除学习率无关的不稳定性影响后，研究提出了适用于随机训练与自适应优化器的“边缘稳定性”（EoS）广义定义。 实验表明 EoS 普遍存在但并非绝对，当学习率充分减小（如衰减后）或批量大小低于与临界批量大小正相关的阈值时，EoS 会消失。
来源：arXiv · ML · arxiv.org