滑移网络残差结构研究发表

2026年10月24日，Datong Zhou与Blake Bordelon在arXiv发布论文《滑动网络：保留特征学习与特征多样性的残差结构族》。该研究提出一种联合缩放配方，旨在同时保留残差流中的最大特征学习与特征多样性。理论推导与残差MLP实验表明，在固定正比参数α下，模型收敛至SDE极限；通过Half Copy初始化可部分放宽形状约束。语言模型实验显示，在固定参数量下重新分配宽度与深度会导致性能差异，从而区分了逼近极限与提升性能的不同影响。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。