研究发现残差连接与对称性破缺促成神经网络几何连续性

最新arXiv预印本在小型MLP和Transformer实验中提出，残差连接通过建立跨层梯度一致性，与破缺对称性的非线性共同约束共享坐标系，从而促成权重矩阵的几何连续性。 实验结果还表明，旋转等变激活的连续性不足ReLU的一半，证确保连续性的关键在于对称性破缺而非单纯的非线性特性。此外，激活函数将连续性集中于主导奇异方向，而在Transformer中，不同的投影因读写残差流方向不同，表现出显著的差异性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。