研究者提出Loop-μP方法解决循环Transformer训练不稳定
热点事件持续更新
研究者提出Loop-μP方法解决循环Transformer训练不稳定
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
研究者Shaowen Wang等人于2026年10月20日在arXiv发布论文，提出Loop-μP参数化方案，旨在解决循环Transformer随循环次数N增加导致的训练不稳定及超参数失效问题。 理论分析表明，在无限宽度极限下，将残差分支乘以1/N并保持学习率与N解耦，是维持前向传播稳定的唯一有效方式。 实验结果显示，该方法支持循环次数N高达8，执行深度达384层，且无需重新搜索超参数即可实现稳定缩放。
AI 根据报道生成 · 1 小时前更新
最新进展10月20日 12:00
Loop-µP：循环 Transformer 中的残差缩放与超参数迁移报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · MLLoop-µP：循环 Transformer 中的残差缩放与超参数迁移
研究者提出 Loop-µP 参数化方案，解决循环 Transformer 随循环次数 N 增加导致训练不稳定及超参数失效问题。 理论证明在无限宽度极限下，残差分支乘以 1/N 且学习率与 N 解耦是保持前向传播稳定的唯一方式。语言建模实验中，该方法支持 N 高达 8、执行深度达 384 层的缩放，且无需重新搜索超参数。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。