arXiv · NLP· Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis·· 8 小时前AI 评分27
循环语言模型的等深度缩放定律：单次循环价值分析
How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models
AI 导读
研究者测得循环 Transformer 的循环等价指数 $\varphi=0.46$，表明以共享循环替代独立模块会在匹配算力下增加验证损失。在 $r=4$ 时，410M 循环模型性能等同于 580M 非循环模型，但训练成本相当于 1B 模型。
来源：arXiv · NLP · arxiv.org