arXiv · NLP· Magnus Sesodia, Juil Sock, Philip Torr, Christian Schroeder de Witt·· 6 小时前AI 评分26
权重循环 Transformer 在深度受限算法任务上的机制研究
Inside the Loop: A Mechanistic Study of Weight-Tied Transformers on Depth-Bound Algorithmic Tasks
AI 导读
权重循环 Transformer 通过迭代复用层块扩展有效深度，解决多层级联步骤任务。 实验表明，4 层块迭代 8 次的循环模型在所有随机种子下均成功，而同等有效深度的非循环模型仅通过低学习率或中间层监督才成功。
来源：arXiv · NLP · arxiv.org