跳到正文
arXiv · ML· Shauna Kwag, Anakha Ganesh, Tomaso Poggio, Pierfrancesco Beneventano·· 7 天前AI 评分21

稳定性边缘选择性塑造数据分布下的学习过程

Edge of Stability Selectively Shapes Learning Across the Data Distribution

AI 导读

稳定性边缘(EoS)并非全局优化属性,而是通过重分配学习来选择性塑造数据分布,放大部分群体进步同时抑制其他群体。 研究者通过分支干预证明这一权衡效应,识别出两个必要条件:群体聚合梯度需对齐Hessian最大特征向量,且需维持非消失的梯度幅度。 这表明EoS不仅是稳定性边界,更作为机制管理着学习在数据分布中的分配。

来源:arXiv · ML · arxiv.org