跳到正文
arXiv · ML· Dongqing Cao·· 11 天前AI 评分30

百亿参数神经网络中的涌现低维拓扑动力学如何决定泛化与逃逸机制

Emergent Low-Dimensional Topological Dynamics Dictate Generalization and Escape Mechanics in Billion-Parameter Neural Networks

AI 导读

研究证实百亿参数模型的优化轨迹被约束在有效维数 $d_{\text{eff}} \le 12$ 的低维执行子流形上。 该工作推导了基于持续同调的拓扑泛化界限,并验证了 Top-SGD 算法在 ImageNet 上将训练时间减少 14.1%。 代码已公开,为理解过参数化神经网络的泛化能力提供了严格的数学解释。

来源:arXiv · ML · arxiv.org