arXiv · ML· James Hazelden, Laura Driscoll, Eli Shlizerman, Eric Shea-Brown·· 6 小时前AI 评分23
全球经验NTK：梯度下降学习的自指偏置与维度
The Global Empirical NTK: Self-Referential Bias and Dimensionality of Gradient Descent Learning
AI 导读
研究提出全局经验NTK（GeNTK），将其分解为参数交互算子K和状态依赖算子P，揭示了梯度下降中的自指偏置现象。 通过Kronecker核心定理证明K可计算，并在410M参数Pythia模型及RNN中验证，解释了不同初始化导致的收敛差异。 该工作搭建了理论实践桥梁，为研究有限宽度网络几何结构提供原则性框架。
来源：arXiv · ML · arxiv.org