跳到正文
OpenAI·· 2018-12-14AI 评分31

OpenAI 研究揭示 AI 训练的可扩展性规律

How AI training scales

AI 导读

OpenAI 发现梯度噪声尺度这一统计指标能预测神经网络训练的可并行性。由于复杂任务梯度噪声更大,未来可能需要更大的批量大小以突破扩展限制。该研究表明神经网络训练可被系统化,而非神秘的技艺。

来源:OpenAI · openai.com