arXiv · ML· Datong Zhou, Blake Bordelon·· 1 天前AI 评分25
滑动网络：保留特征学习与特征多样性的残差结构族
Sliding Networks: A Family of Residual Structures Preserving Feature Learning and Feature Diversity
AI 导读
该研究提出一种联合缩放配方，同时保留残差流中的最大特征学习与特征多样性。 理论推导与残差 MLP 实验表明，在固定正比参数 α 下，模型收敛至 SDE 极限；通过 Half Copy 初始化可部分放宽形状约束。 语言模型实验显示，在固定参数量下重新分配宽度与深度会导致性能差异，区分了逼近极限与提升性能。
来源：arXiv · ML · arxiv.org