跳到正文
arXiv · ML· Hans Gundlach, Alex Fogelson, Jayson Lynch, Ana Trisovic, Jonathan Rosenfeld, Anmol Sandhu, Neil Thompson·· 9 天前AI 评分26

语言模型预训练中算法进步的证据:22,000 倍效率增益的尺度依赖性

On the Origin of Algorithmic Progress in AI: Evidence from Language Model Pre-Training

AI 导读

研究显示,2012 年至 2023 年间 AI 预训练算法 FLOP 效率提升了 22,000 倍。消融实验在低算力下仅解释了不到 100 倍的效率增益,缺失部分源于规模依赖性。 证据表明算法效率增益与计算规模强相关,如 LSTM 与 Transformer 的缩放定律指数存在差异。小算力下的算法进步速度远低于此前假设。

来源:arXiv · ML · arxiv.org