跳到正文
OpenAI·· 2019-12-05AI 评分25

OpenAI 研究发现深度学习中普遍存在“双重下降”现象

Deep double descent

AI 导读

OpenAI 研究显示,CNN、ResNet 和 Transformer 模型在参数或数据规模增大时均出现“双重下降”现象,即性能先升、后降、再升。该现象可通过正则化避免,但成因尚未完全阐明,被视为重要研究方向。

来源:OpenAI · openai.com