arXiv · ML· Tiberiu Musat·· 12 小时前AI 评分33
循环神经网络权重范数最小值与柯尔莫哥洛夫复杂性渐近等价
Minimum Neural Weight Norm = Kolmogorov Complexity
AI 导读
研究证明,在循环神经网络中,计算特定函数的最小权重范数与该函数的柯尔莫哥洛夫复杂性除以对数渐近等价。 证明基于两个还原:网络通过稀疏模式编码信息,且固定精度网络可通过枚举非零参数描述。 该理论链接为理解深度学习中范数最小化与泛化能力的关系提供了新途径。
来源:arXiv · ML · arxiv.org