arXiv · ML· Christian Schmid, James M Murray·· 8 小时前AI 评分20
随机学习流：有限步长随机梯度下降矩方程
Stochastic learning flow: moment equations for stochastic gradient descent at finite step size
AI 导读
该研究推导了有限步长随机梯度下降的随机学习流连续时间方程，在Gaussian闭包下描述参数均值与协方差演化。 方程表明协方差在曲率2/eta处失稳，SGD下比梯度流更精准捕捉学习曲线与均值轨迹。 全批次极限下该动态自洽恢复边缘稳定与中央流。
来源：arXiv · ML · arxiv.org