arXiv · ML· Shaowen Wang, Bingrui Li, Tansheng Zhu, Ge Zhang, Wenhao Huang, Shen Yan, Jian Li·· 9 小时前AI 评分23
Loop-µP：循环 Transformer 中的残差缩放与超参数迁移
Loop-$\mu$P: Residual Scaling and Hyperparameter Transfer in Looped Transformers
AI 导读
研究者提出 Loop-µP 参数化方案，解决循环 Transformer 随循环次数 N 增加导致训练不稳定及超参数失效问题。 理论证明在无限宽度极限下，残差分支乘以 1/N 且学习率与 N 解耦是保持前向传播稳定的唯一方式。语言建模实验中，该方法支持 N 高达 8、执行深度达 384 层的缩放，且无需重新搜索超参数。
来源：arXiv · ML · arxiv.org