arXiv · AI· Charles H. Martin·· 17 天前AI 评分20
深度学习中的谱重整化群视角
A Spectral Renormalization-Group View of Learning
AI 导读
研究发现深度神经网络在训练中常形成重尾幂律谱,最佳检查点通常位于谱指数 $\alpha\approx 2$ 附近。 该指数被提出作为区分稳定学习与过拟合的统计边界,并满足 Wilsonian 边际条件。 基于此提出的 SETOL 理论连接了 HTSR 与 Muon 等优化器,并激发了 WW-PGD 新扩展。
来源:arXiv · AI · arxiv.org