OpenAI·2018-12-14 16:00· 2018-12-14AI 评分31OpenAI 研究揭示 AI 训练的可扩展性规律How AI training scalesAI 导读OpenAI 发现梯度噪声尺度这一统计指标能预测神经网络训练的可并行性。由于复杂任务梯度噪声更大,未来可能需要更大的批量大小以突破扩展限制。该研究表明神经网络训练可被系统化,而非神秘的技艺。来源:OpenAI · openai.comOpenAI / ChatGPT数据与训练论文研究#论文/研究#数据/训练#OpenAI