arXiv · ML· Ruoyu Zhao, Mingxuan Zhang, Jianbo Dai, Jiaqi Wu, Chenyu Zhu, Tong Che·· 2026-10-09AI 评分20
罕见门控分歧可能限制可塑性:梯度流对有限批量 SGD 的误判
Rare Gate Disagreements Can Limit Plasticity: When Gradient Flow Mispredicts Finite-Batch SGD
AI 导读
研究表明,总体梯度流可能定性误判有限批量随机梯度下降(SGD)行为,根源在于 ReLU 门控单元间的罕见分歧。 在双单元 ReLU 回归中,当预训练时间 $T$ 大于 $\log(b/\eta)$ 时,在线 SGD 在 $e^{c/\eta}$ 规模内以高概率失败,而梯度流仅需线性于 $T$ 的时间恢复。
来源:arXiv · ML · arxiv.org