arXiv · ML· Jamie Simon, Daniel Kunin, Alexander Atanasov, Enric Boix-Adser\`a, Blake Bordelon, Jeremy Cohen, Nikhil Ghosh, Florentin Guth, Arthur Jacot, Mason Kamb, Dhruva Karkada, Eric J. Michaud, Berkan Ottlik, Joseph Turnbull·· 7 天前AI 评分30
深度学习将形成科学理论
There Will Be a Scientific Theory of Deep Learning
AI 导读
论文论证深度学习的科学理论正在形成,称为“学习力学”,用于刻画训练过程、隐藏表示、最终权重及性能的属性和统计规律。 该理论基于可解析理想设置、可处理极限、简单数学定律、超参数理论及普遍行为五大研究脉络,强调训练过程动力学、粗粒度聚合统计及可证伪的定量预测。 文中提出学习力学将与机制可解释性形成共生关系,并回应了认为基础理论不可能或不重要的常见论点。
来源:arXiv · ML · arxiv.org