787M LLM 预训练稳定性边缘研究
热点事件持续更新
787M LLM 预训练稳定性边缘研究
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月27日，Yuhang Cai 等人在 arXiv 发表新论文，指出直至 787M 参数量级的 LLM 预训练中均存在“凸性边缘”现象，即二次近似发散但真实动态稳定。 研究在移除学习率无关的不稳定性影响后，提出了适用于随机训练与自适应优化器的“边缘稳定性”（EoS）广义定义。实验表明该现象普遍存在但并非绝对。 最新数据确认，当学习率充分减小或批量大小低于与临界值正相关的阈值时，边缘稳定性会消失，揭示了预训练参数配置的临界边界。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 12:00
787M 参数量 LLM 预训练中边缘稳定性与凸性边缘现象研究报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · ML787M 参数量 LLM 预训练中边缘稳定性与凸性边缘现象研究
研究发现在直至 787M 参数量级的 LLM 预训练中，始终观察到导致二次近似发散但真实动态稳定的“凸性边缘”（EoC）现象。 在移除学习率无关的不稳定性影响后，研究提出了适用于随机训练与自适应优化器的“边缘稳定性”（EoS）广义定义。 实验表明 EoS 普遍存在但并非绝对，当学习率充分减小（如衰减后）或批量大小低于与临界批量大小正相关的阈值时，EoS 会消失。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。