神经网络训练的动态粗粒化

该研究提出了神经网络训练的动态粗粒化框架，通过定义学习算子并建立下降定理，实现了在远小于参数空间的状态空间中对训练过程进行预测和控制。 论文进一步给出了精确闭合定理和动态粗粒化定理，并在有限宽度非线性 ReLU 网络中验证了该框架，其粗粒化模型由五个独立矩组成，可精确预测训练输出及学习算子的演化。