跳到正文
arXiv · ML· Eric Regis, Sinho Chewi·· 14 天前AI 评分28

统一中心流、杆流与边缘耦合:梯度下降在稳定性边缘的连续时间模型分析

Unifying Central Flow, Rod Flow, and the Edge Coupling

AI 导读

研究提出第三类对象“边缘耦合”统一了中心流与杆流,解释梯度下降在稳定性边缘的振荡行为。 该对象是对连续迭代的泛函,其临界点对应固定点与周期二轨道,揭示两种流分别是不同时间尺度的粗粒化。 基于边缘耦合推导了重球法与 Adam 等动量方法对应的杆流与中心流,并在代表性神经网络架构上验证了其在训练各阶段的跟踪能力。

来源:arXiv · ML · arxiv.org