arXiv · NLP· Kyungwon Jeong, Won-Gi Paeng, Honggyo Suh·· 4 小时前AI 评分30
深度神经网络几何连续性的涌现：残差连接与旋转对称性破缺
Why Geometric Continuity Emerges in Deep Neural Networks: Residual Connections and Rotational Symmetry Breaking
AI 导读
在小型MLP和Transformer实验中发现，残差连接建立跨层梯度一致性，且破缺对称性的非线性约束了共享坐标系，二者共同促成权重矩阵的几何连续性。 旋转等变激活的连续性不到ReLU的一半，证明确保连续性的关键在对称性破缺而非单纯非线性；激活将连续性集中于主导奇异方向，而Transformer中不同投影因读写残差流方向不同表现出差异性。
来源：arXiv · NLP · arxiv.org