深线性网络中特征学习早期迹象的探究

该文针对深线性网络特征学习提出闭式解，揭示了特征学习在预测中的影响机制。 研究表明，单步梯度更新会通过“反收缩”机制放大任务相关方向，但同时也放大噪声。 在过参数化比例极限下，推导了偏差、方差和泛化误差的闭式表达式，发现单步泛化优势仅在低维任务结构足够强时出现。