arXiv · ML· Alec S. Xu, Can Yaras, Matthew Asato, Qing Qu, Laura Balzano·· 10 天前AI 评分30
MLP 平滑激活下梯度下降训练的涌现低秩动态分析
Emergent Low-Rank Training Dynamics in MLPs with Smooth Activations
AI 导读
该研究证明了多层感知机在梯度下降训练时,权重动态会集中在不变的子空间内,并在理论上精确刻画了带平滑非线性激活的两层网络不变子空间。 实验验证该低秩现象超出理论假设,且适当的低秩参数化能在多种分类任务中匹配全参数化模型的性能。 这项工作为理解非线性网络的训练动态提供了理论基础,相关成果已被 NeurIPS 2026 接收。
来源:arXiv · ML · arxiv.org