跳到正文
arXiv · ML· Musheng Li, Jiawei Zhang, Ziyuan Liu, Yuantao Gu·· 7 天前AI 评分20

Rectified Looped Transformer (RLT) 提出基于流式建模的循环反馈机制

Rectified Looped Transformer

AI 导读

RLT 通过线性插值重设计循环反馈,解决传统 Looped Transformer 隐状态尺度增长及扰动放大问题。 理论证明 RLT 能保持隐状态幅度有界并降低最坏情况扰动放大,无需增加可训练参数或额外循环评估。 RLT 在语言建模基准中比标准循环模型具有更低困惑度,且隐状态范数更稳定,利于外推解码。

来源:arXiv · ML · arxiv.org